mysql如何快速插入一千万条数据_如何快速安全的插入千万条数据？
最近有個需求解析一個訂單文件，并且說明文件可達到千萬條數據，每條數據大概在20個字段左右，每個字段使用逗號分隔，需要盡量在半小時內入庫。
思路
1.估算文件大小
因為告訴文件有千萬條，同時每條記錄大概在20個字段左右，所以可以大致估算一下整個訂單文件的大小，方法也很簡單使用FileWriter往文件中插入一千萬條數據，查看文件大小，經測試大概在1.5G左右；
2.如何批量插入
由上可知文件比較大，一次性讀取內存肯定不行，方法是每次從當前訂單文件中截取一部分數據，然后進行批量插入，如何批次插入可以使用insert(...)values(...),(...)的方式，經測試這種方式效率還是挺高的；怎么快速插入 100 條數據，用時最短，這篇看下。
3.數據的完整性
截取數據的時候需要注意，需要保證數據的完整性，每條記錄最后都是一個換行符，需要根據這個標識保證每次截取都是整條數，不要出現半條數據這種情況；
4.數據庫是否支持批次數據
因為需要進行批次數據的插入，數據庫是否支持大量數據寫入，比如這邊使用的mysql，可以通過設置max_allowed_packet來保證批次提交的數據量；
5.中途出錯的情況
因為是大文件解析，如果中途出現錯誤，比如數據剛好插入到900w的時候，數據庫連接失敗，這種情況不可能重新來插一遍，所有需要記錄每次插入數據的位置，并且需要保證和批次插入的數據在同一個事務中，這樣恢復之后可以從記錄的位置開始繼續插入。
實現
1.準備數據表
這里需要準備兩張表分別是：訂單狀態位置信息表，訂單表；
CREATE?TABLE?`file_analysis`?(
`id`?bigint(20)?NOT?NULL?AUTO_INCREMENT,
`file_type`?varchar(255)?NOT?NULL?COMMENT?'文件類型 01:類型1，02:類型2',
`file_name`?varchar(255)?NOT?NULL?COMMENT?'文件名稱',
`file_path`?varchar(255)?NOT?NULL?COMMENT?'文件路徑',
`status`?varchar(255)?NOT?NULL?COMMENT?'文件狀態 0初始化；1成功；2失敗：3處理中',
`position`?bigint(20)?NOT?NULL?COMMENT?'上一次處理完成的位置',
`crt_time`?datetime?NOT?NULL?COMMENT?'創建時間',
`upd_time`?datetime?NOT?NULL?COMMENT?'更新時間',
PRIMARY?KEY?(`id`)
)?ENGINE=InnoDB?AUTO_INCREMENT=2?DEFAULT?CHARSET=utf8
CREATE?TABLE?`file_order`?(
`id`?bigint(20)?NOT?NULL?AUTO_INCREMENT,
`file_id`?bigint(20)?DEFAULT?NULL,
`field1`?varchar(255)?DEFAULT?NULL,
`field2`?varchar(255)?DEFAULT?NULL,
`field3`?varchar(255)?DEFAULT?NULL,
`field4`?varchar(255)?DEFAULT?NULL,
`field5`?varchar(255)?DEFAULT?NULL,
`field6`?varchar(255)?DEFAULT?NULL,
`field7`?varchar(255)?DEFAULT?NULL,
`field8`?varchar(255)?DEFAULT?NULL,
`field9`?varchar(255)?DEFAULT?NULL,
`field10`?varchar(255)?DEFAULT?NULL,
`field11`?varchar(255)?DEFAULT?NULL,
`field12`?varchar(255)?DEFAULT?NULL,
`field13`?varchar(255)?DEFAULT?NULL,
`field14`?varchar(255)?DEFAULT?NULL,
`field15`?varchar(255)?DEFAULT?NULL,
`field16`?varchar(255)?DEFAULT?NULL,
`field17`?varchar(255)?DEFAULT?NULL,
`field18`?varchar(255)?DEFAULT?NULL,
`crt_time`?datetime?NOT?NULL?COMMENT?'創建時間',
`upd_time`?datetime?NOT?NULL?COMMENT?'更新時間',
PRIMARY?KEY?(`id`)
)?ENGINE=InnoDB?AUTO_INCREMENT=10000024?DEFAULT?CHARSET=utf8
2.配置數據庫包大小
mysql>?show VARIABLES like?'%max_allowed_packet%';
+--------------------------+------------+
| Variable_name | Value |
+--------------------------+------------+
| max_allowed_packet | 1048576 |
| slave_max_allowed_packet | 1073741824 |
+--------------------------+------------+
2 rows in set
mysql>?set?global max_allowed_packet = 1024*1024*10;
Query OK, 0 rows affected
通過設置max_allowed_packet，保證數據庫能夠接收批次插入的數據包大小；不然會出現如下錯誤：
Caused?by: com.mysql.jdbc.PacketTooBigException:?Packet?for?query?is?too?large?(4980577?>?1048576). You can change?this?value?on?the server?by?setting the max_allowed_packet' variable.
at com.mysql.jdbc.MysqlIO.send(MysqlIO.java:3915)
at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:2598)
at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2778)
at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2834)
3.準備測試數據
public?static?void?main(String[] args) throws IOException?{
FileWriter?out?=?new?FileWriter(new?File("D://xxxxxxx//orders.txt"));
for?(int?i =?0; i
out.write(
"vaule1,vaule2,vaule3,vaule4,vaule5,vaule6,vaule7,vaule8,vaule9,vaule10,vaule11,vaule12,vaule13,vaule14,vaule15,vaule16,vaule17,vaule18");
out.write(System.getProperty("line.separator"));
}
out.close();
}
使用FileWriter遍歷往一個文件里插入1000w條數據即可，這個速度還是很快的，不要忘了在每條數據的后面添加換行符(\n\r)；
4.截取數據的完整性
除了需要設置每次讀取文件的大小，同時還需要設置一個參數，用來每次獲取一小部分數據，從這小部分數據中獲取換行符(\n\r)，如果獲取不到一直累加直接獲取為止，這個值設置大小大致同每條數據的大小差不多合適，部分實現如下：
ByteBuffer byteBuffer = ByteBuffer.allocate(buffSize);?// 申請一個緩存區
long?endPosition = batchFileSize + startPosition - buffSize;// 子文件結束位置
long?startTime, endTime;
for?(int?i =?0; i < count; i++) {
startTime = System.currentTimeMillis();
if?(i +?1?!= count) {
int?read = inputChannel.read(byteBuffer, endPosition);// 讀取數據
readW:?while?(read !=?-1) {
byteBuffer.flip();// 切換讀模式
byte[]?array?= byteBuffer.array();
for?(int?j =?0; j
byte b =?array[j];
if?(b ==?10?|| b ==?13) {?// 判斷\n\r
endPosition += j;
break?readW;
}
}
endPosition += buffSize;
byteBuffer.clear();?// 重置緩存塊指針
read = inputChannel.read(byteBuffer, endPosition);
}
}?else?{
endPosition = fileSize;?// 最后一個文件直接指向文件末尾
}
...省略，更多可以查看Github完整代碼...
}
如上代碼所示開辟了一個緩沖區，根據每行數據大小來定大概在200字節左右，然后通過遍歷查找換行符(\n\r)，找到以后將當前的位置加到之前的結束位置上，保證了數據的完整性；
5.批次插入數據
通過insert(...)values(...),(...)的方式批次插入數據，部分代碼如下：
// 保存訂單和解析位置保證在一個事務中
SqlSession session = sqlSessionFactory.openSession();
try?{
long?startTime = System.currentTimeMillis();
FielAnalysisMapper fielAnalysisMapper = session.getMapper(FielAnalysisMapper.class);
FileOrderMapper fileOrderMapper = session.getMapper(FileOrderMapper.class);
fileOrderMapper.batchInsert(orderList);
// 更新上次解析到的位置，同時指定更新時間
fileAnalysis.setPosition(endPosition +?1);
fileAnalysis.setStatus("3");
fileAnalysis.setUpdTime(new?Date());
fielAnalysisMapper.updateFileAnalysis(fileAnalysis);
session.commit();
long?endTime = System.currentTimeMillis();
System.out.println("===插入數據花費:"?+ (endTime - startTime) +?"ms===");
}?catch?(Exception e) {
session.rollback();
}?finally?{
session.close();
}
...省略，更多可以查看Github完整代碼...
如上代碼在一個事務中同時保存批次訂單數據和文件解析位置信息，batchInsert通過使用mybatis的標簽來遍歷訂單列表，生成values數據；
總結
以上展示了部分代碼，完整的代碼可以查看Github地址中的batchInsert模塊，本地設置每次截取的文件大小為2M。
經測試1000w條數據(大小1.5G左右)插入mysql數據庫中，大概花費時間在20分鐘左右，當然可以通過設置截取的文件大小，花費的時間也會相應的改變。
推薦去我的博客：
覺得不錯，別忘了點贊+轉發哦！
總結
以上是生活随笔為你收集整理的mysql如何快速插入一千万条数据_如何快速安全的插入千万条数据？的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： access的ole对象换成mysql_
- 下一篇： mysql丢失链接_MySQL远程连接丢