mysql 如何提高批量導(dǎo)入的速度

最近一個(gè)項(xiàng)目測試，有幾個(gè)mysql數(shù)據(jù)庫的表數(shù)據(jù)記錄達(dá)到了幾十萬條，在搭建測試環(huán)境 導(dǎo)入 測試數(shù)據(jù)時(shí)，十分慢。
在網(wǎng)上搜索了一下，有下面一些方法可以加快
mysql數(shù)據(jù)庫導(dǎo)入數(shù)據(jù)的速度：
0. 最快的當(dāng)然是直接 copy 數(shù)據(jù)庫表的數(shù)據(jù)文件（版本和平臺最好要相同或相似）；
1. 設(shè)置 innodb_flush_log_at_trx_commit?=?0 ，相對于 innodb_flush_log_at_trx_commit?= 1 可以十分明顯的提升導(dǎo)入速度；
2. 使用 load data local infile 提速明顯；
3. 修改參數(shù)?bulk_insert_buffer_size， 調(diào)大批量插入的緩存；
4. 合并多條 insert 為一條: insert into t values(a,b,c),? (d,e,f) ,,,
5. 手動使用事物；


下面是UC的一篇相關(guān)博客文章：
http://tech.uc.cn/?p=634
MySQL批量SQL插入性能優(yōu)化
對于一些數(shù)據(jù)量較大的系統(tǒng)，數(shù)據(jù)庫面臨的問題除了查詢效率低下，還有就是數(shù)據(jù)入庫時(shí)間長。特別像報(bào)表系統(tǒng)，每天花費(fèi)在數(shù)據(jù)導(dǎo)入上的時(shí)間可能會長達(dá)幾個(gè)小時(shí)或十幾個(gè)小時(shí)之久。因此，優(yōu)化數(shù)據(jù)庫插入性能是很有意義的。

經(jīng)過對MySQL innodb的一些性能測試，發(fā)現(xiàn)一些可以提高insert效率的方法，供大家參考參考。

1. 一條SQL語句插入多條數(shù)據(jù)。
常用的插入語句如：
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('0', 'userid_0', 'content_0', 0);?
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('1', 'userid_1', 'content_1', 1);
INSERT?INTO?`insert_table`?(`datetime`,?`uid`,?`content`,?`type`)??VALUES?('0',?'userid_0',?'content_0',?0);
INSERT?INTO?`insert_table`?(`datetime`,?`uid`,?`content`,?`type`)??VALUES?('1',?'userid_1',?'content_1',?1);

修改成：
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('0', 'userid_0', 'content_0', 0), ('1', 'userid_1', 'content_1', 1);
INSERT?INTO?`insert_table`?(`datetime`,?`uid`,?`content`,?`type`)?VALUES?('0',?'userid_0',?'content_0',?0),?('1',?'userid_1',?'content_1',?1);

修改后的插入操作能夠提高程序的插入效率。這里第二種SQL執(zhí)行效率高的主要原因是合并后日志量（MySQL的binlog和innodb的事務(wù)讓日志） 減少了，降低日志刷盤的數(shù)據(jù)量和頻率，從而提高效率。通過合并SQL語句，同時(shí)也能減少SQL語句解析的次數(shù)，減少網(wǎng)絡(luò)傳輸?shù)腎O。
這里提供一些測試對比數(shù)據(jù)，分別是進(jìn)行單條數(shù)據(jù)的導(dǎo)入與轉(zhuǎn)化成一條SQL語句進(jìn)行導(dǎo)入，分別測試1百、1千、1萬條數(shù)據(jù)記錄。

?

?

2. 在事務(wù)中進(jìn)行插入處理。
把插入修改成：
START TRANSACTION;?
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)?
VALUES ('0', 'userid_0', 'content_0', 0);?
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)?
VALUES ('1', 'userid_1', 'content_1', 1);?
...?
COMMIT;

START TRANSACTION;
INSERT?INTO?`insert_table`?(`datetime`,?`uid`,?`content`,?`type`)????
VALUES?('0',?'userid_0',?'content_0',?0);
INSERT?INTO?`insert_table`?(`datetime`,?`uid`,?`content`,?`type`)???
VALUES?('1',?'userid_1',?'content_1',?1);
...COMMIT;

使用事務(wù)可以提高數(shù)據(jù)的插入效率，這是因?yàn)檫M(jìn)行一個(gè)INSERT操作時(shí)，MySQL內(nèi)部會建立一個(gè)事務(wù)，在事務(wù)內(nèi)才進(jìn)行真正插入處理操作。通過使用事務(wù)可以減少創(chuàng)建事務(wù)的消耗，所有插入都在執(zhí)行后才進(jìn)行提交操作。
這里也提供了測試對比，分別是不使用事務(wù)與使用事務(wù)在記錄數(shù)為1百、1千、1萬的情況。

?

3. 數(shù)據(jù)有序插入。
數(shù)據(jù)有序的插入是指插入記錄在主鍵上是有序排列，例如datetime是記錄的主鍵：
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('1', 'userid_1', 'content_1', 1);?
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('0', 'userid_0', 'content_0', 0);?
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('2', 'userid_2', 'content_2',2);
INSERT?INTO?`insert_table`?(`datetime`,?`uid`,?`content`,?`type`)??VALUES?('1',?'userid_1',?'content_1',?1);
INSERT?INTO?`insert_table`?(`datetime`,?`uid`,?`content`,?`type`)??VALUES?('0',?'userid_0',?'content_0',?0);
INSERT?INTO?`insert_table`?(`datetime`,?`uid`,?`content`,?`type`)??VALUES?('2',?'userid_2',?'content_2',2);

修改成：
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('0', 'userid_0', 'content_0', 0);?
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('1', 'userid_1', 'content_1', 1);?
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('2', 'userid_2', 'content_2',2);
INSERT?INTO?`insert_table`?(`datetime`,?`uid`,?`content`,?`type`)??VALUES?('0',?'userid_0',?'content_0',?0);
INSERT?INTO?`insert_table`?(`datetime`,?`uid`,?`content`,?`type`)??VALUES?('1',?'userid_1',?'content_1',?1);
INSERT?INTO?`insert_table`?(`datetime`,?`uid`,?`content`,?`type`)??VALUES?('2',?'userid_2',?'content_2',2);

由于數(shù)據(jù)庫插入時(shí)，需要維護(hù)索引數(shù)據(jù)，無序的記錄會增大維護(hù)索引的成本。我們可以參照innodb使用的B+tree索引，如果每次插入記錄都在索引的最 后面，索引的定位效率很高，并且對索引調(diào)整較小；如果插入的記錄在索引中間，需要B+tree進(jìn)行分裂合并等處理，會消耗比較多計(jì)算資源，并且插入記錄的 索引定位效率會下降，數(shù)據(jù)量較大時(shí)會有頻繁的磁盤操作。
下面提供隨機(jī)數(shù)據(jù)與順序數(shù)據(jù)的性能對比，分別是記錄為1百、1千、1萬、10萬、100萬。

從測試結(jié)果來看，該優(yōu)化方法的性能有所提高，但是提高并不是很明顯。

?

性能綜合測試：
這里提供了同時(shí)使用上面三種方法進(jìn)行INSERT效率優(yōu)化的測試。

從測試結(jié)果可以看到，合并數(shù)據(jù)+事務(wù)的方法在較小數(shù)據(jù)量時(shí)，性能提高是很明顯的，數(shù)據(jù)量較大時(shí)（1千萬以上），性能會急劇下降，這是由于此時(shí)數(shù)據(jù)量超過了 innodb_buffer的容量，每次定位索引涉及較多的磁盤讀寫操作，性能下降較快。而使用合并數(shù)據(jù)+事務(wù)+有序數(shù)據(jù)的方式在數(shù)據(jù)量達(dá)到千萬級以上表 現(xiàn)依舊是良好，在數(shù)據(jù)量較大時(shí)，有序數(shù)據(jù)索引定位較為方便，不需要頻繁對磁盤進(jìn)行讀寫操作，所以可以維持較高的性能。

?

注意事項(xiàng)：
1. SQL語句是有長度限制，在進(jìn)行數(shù)據(jù)合并在同一SQL中務(wù)必不能超過SQL長度限制，通過max_allowed_packet配置可以修改，默認(rèn)是1M，測試時(shí)修改為8M。
2. 事務(wù)需要控制大小，事務(wù)太大可能會影響執(zhí)行的效率。MySQL有innodb_log_buffer_size配置項(xiàng)，超過這個(gè)值會把innodb的數(shù)據(jù)刷到磁盤中，這時(shí)，效率會有所下降。所以比較好的做法是，在數(shù)據(jù)達(dá)到這個(gè)這個(gè)值前進(jìn)行事務(wù)提交。

?

30多條mysql數(shù)據(jù)庫優(yōu)化方法,千萬級數(shù)據(jù)庫記錄查詢輕松解決

1.對查詢進(jìn)行優(yōu)化，應(yīng)盡量避免全表掃描，首先應(yīng)考慮在 where 及 order by 涉及的列上建立索引。

2.應(yīng)盡量避免在 where 子句中對字段進(jìn)行 null 值判斷，否則將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描，

Sql 代碼 : select id from t where num is null;

可以在 num 上設(shè)置默認(rèn)值 0,確保表中 num 列沒有 null 值，然后這樣查詢：

Sql 代碼 : select id from t where num=0;

3.應(yīng)盡量避免在 where 子句中使用!=或<>操作符，否則將引擎放棄使用索引而進(jìn)行全表掃描。

4.應(yīng)盡量避免在 where 子句中使用 or 來連接條件，否則將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描，

Sql 代碼 : select id from t where num=10 or num=20;

可以這樣查詢：

Sql 代碼 : select id from t where num=10 union all select id from t where num=20;

5.in 和 not in 也要慎用，否則會導(dǎo)致全表掃描，如：

Sql 代碼 : select id from t where num in(1,2,3);

對于連續(xù)的數(shù)值，能用 between 就不要用 in 了：

Sql 代碼 : select id from t where num between 1 and 3;

6.下面的查詢也將導(dǎo)致全表掃描：

Sql 代碼 : select id from t where name like '%c%';

若要提高效率，可以考慮全文檢索。

7.如果在 where 子句中使用參數(shù)，也會導(dǎo)致全表掃描。因?yàn)?SQL 只有在運(yùn)行時(shí)才會解析局部變量，但優(yōu) 化程序不能將訪問計(jì)劃的選擇推遲到運(yùn)行時(shí);它必須在編譯時(shí)進(jìn)行選擇。然 而，如果在編譯時(shí)建立訪問計(jì) 劃，變量的值還是未知的，因而無法作為索引選擇的輸入項(xiàng)。如下面語句將進(jìn)行全表掃描：

Sql 代碼 : select id from t where num=@num ;

可以改為強(qiáng)制查詢使用索引：

Sql 代碼 : select id from t with(index(索引名)) where num=@num ;

8.應(yīng)盡量避免在 where 子句中對字段進(jìn)行表達(dá)式操作， 這將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描。

Sql 代碼 : select id from t where num/2=100;

可以這樣查詢：

Sql 代碼 : select id from t where num=100*2;

9.應(yīng)盡量避免在 where 子句中對字段進(jìn)行函數(shù)操作，這將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描。如：

Sql 代碼 : select id from t where substring(name,1,3)='abc';#name 以 abc 開頭的 id

應(yīng)改為：

Sql 代碼 : select id from t where name like 'abc%';

10.不要在 where 子句中的“=”左邊進(jìn)行函數(shù)、算術(shù)運(yùn)算或其他表達(dá)式運(yùn)算，否則系統(tǒng)將可能無法正確使用 索引。

11.在使用索引字段作為條件時(shí)，如果該索引是復(fù)合索引，那么必須使用到該索引中的第一個(gè)字段作為條件 時(shí)才能保證系統(tǒng)使用該索引， 否則該索引將不會 被使用， 并且應(yīng)盡可能的讓字段順序與索引順序相一致。

12.不要寫一些沒有意義的查詢，如需要生成一個(gè)空表結(jié)構(gòu)：

Sql 代碼 : select col1,col2 into #t from t where 1=0;

這類代碼不會返回任何結(jié)果集，但是會消耗系統(tǒng)資源的，應(yīng)改成這樣：

Sql 代碼 : create table #t(…);

13.很多時(shí)候用 exists 代替 in 是一個(gè)好的選擇：

Sql 代碼 : select num from a where num in(select num from b);

用下面的語句替換：

Sql 代碼 : select num from a where exists(select 1 from b where num=a.num);

14.并不是所有索引對查詢都有效，SQL 是根據(jù)表中數(shù)據(jù)來進(jìn)行查詢優(yōu)化的，當(dāng)索引列有大量數(shù)據(jù)重復(fù)時(shí)， SQL 查詢可能不會去利用索引，如一表中有字段 ***,male、female 幾乎各一半，那么即使在 *** 上建 了索引也對查詢效率起不了作用。

15.索引并不是越多越好，索引固然可以提高相應(yīng)的 select 的效率，但同時(shí)也降低了 insert 及 update 的效率，因?yàn)?insert 或 update 時(shí)有可能會重建索引，所以怎樣建索引需要慎重考慮，視具體情況而定。一個(gè)表的索引數(shù)最好不要超過 6 個(gè)，若太多則應(yīng)考慮一些不常使用到的列上建的索引是否有必要。

16.應(yīng)盡可能的避免更新 clustered 索引數(shù)據(jù)列， 因?yàn)?clustered 索引數(shù)據(jù)列的順序就是表記錄的物理存儲順序，一旦該列值改變將導(dǎo)致整個(gè)表記錄的順序的調(diào)整，會耗費(fèi)相當(dāng)大的資源。若應(yīng)用系統(tǒng)需要頻繁更新 clustered 索引數(shù)據(jù)列，那么需要考慮是否應(yīng)將該索引建為 clustered 索引。

17.盡量使用數(shù)字型字段，若只含數(shù)值信息的字段盡量不要設(shè)計(jì)為字符型，這會降低查詢和連接的性能，并 會增加存儲開銷。這是因?yàn)橐嬖谔幚聿樵兒瓦B接時(shí)會逐個(gè)比較字符串中每一個(gè)字符，而對于數(shù)字型而言 只需要比較一次就夠了。

18.盡可能的使用 varchar/nvarchar 代替 char/nchar , 因?yàn)槭紫茸冮L字段存儲空間小， 可以節(jié)省存儲空間， 其次對于查詢來說，在一個(gè)相對較小的字段內(nèi)搜索效率顯然要高些。

19.任何地方都不要使用 select * from t ,用具體的字段列表代替“*”,不要返回用不到的任何字段。

20.盡量使用表變量來代替臨時(shí)表。如果表變量包含大量數(shù)據(jù)，請注意索引非常有限(只有主鍵索引)。

21.避免頻繁創(chuàng)建和刪除臨時(shí)表，以減少系統(tǒng)表資源的消耗。

22.臨時(shí)表并不是不可使用，適當(dāng)?shù)厥褂盟鼈兛梢允鼓承├谈行?#xff0c;例如，當(dāng)需要重復(fù)引用大型表或常用 表中的某個(gè)數(shù)據(jù)集時(shí)。但是，對于一次性事件， 最好使用導(dǎo)出表。

23.在新建臨時(shí)表時(shí)，如果一次性插入數(shù)據(jù)量很大，那么可以使用 select into 代替 create table,避免造成大量 log ,以提高速度;如果數(shù)據(jù)量不大，為了緩和系統(tǒng)表的資源，應(yīng)先 create table,然后 insert.

24.如果使用到了臨時(shí)表， 在存儲過程的最后務(wù)必將所有的臨時(shí)表顯式刪除， 先 truncate table ,然后 drop table ,這樣可以避免系統(tǒng)表的較長時(shí)間鎖定。

25.盡量避免使用游標(biāo)，因?yàn)橛螛?biāo)的效率較差，如果游標(biāo)操作的數(shù)據(jù)超過 1 萬行，那么就應(yīng)該考慮改寫。

26.使用基于游標(biāo)的方法或臨時(shí)表方法之前，應(yīng)先尋找基于集的解決方案來解決問題，基于集的方法通常更 有效。

27.與臨時(shí)表一樣，游標(biāo)并不是不可使用。對小型數(shù)據(jù)集使用 FAST_FORWARD 游標(biāo)通常要優(yōu)于其他逐行處理方法，尤其是在必須引用幾個(gè)表才能獲得所需的數(shù)據(jù)時(shí)。在結(jié)果集中包括“合計(jì)”的例程通常要比使用游標(biāo)執(zhí)行的速度快。如果開發(fā)時(shí)間允許，基于游標(biāo)的方法和基于集的方法都可以嘗試一下，看哪一種方法的效果更好。

28.在所有的存儲過程和觸發(fā)器的開始處設(shè)置 SET NOCOUNT ON ,在結(jié)束時(shí)設(shè)置 SET NOCOUNT OFF .無需在執(zhí)行存儲過程和觸發(fā)器的每個(gè)語句后向客戶端發(fā)送 DONE_IN_PROC 消息。

29.盡量避免大事務(wù)操作，提高系統(tǒng)并發(fā)能力。 sql 優(yōu)化方法使用索引來更快地遍歷表。 缺省情況下建立的索引是非群集索引，但有時(shí)它并不是最佳的。在非群集索引下，數(shù)據(jù)在物理上隨機(jī)存放在數(shù)據(jù)頁上。合理的索引設(shè)計(jì)要建立在對各種查詢的分析和預(yù)測上。一般來說：

a.有大量重復(fù)值、且經(jīng)常有范圍查詢( > ,< ,> =,< =)和 order by、group by 發(fā)生的列，可考慮建立集群索引;

b.經(jīng)常同時(shí)存取多列，且每列都含有重復(fù)值可考慮建立組合索引;

c.組合索引要盡量使關(guān)鍵查詢形成索引覆蓋，其前導(dǎo)列一定是使用最頻繁的列。索引雖有助于提高性能但 不是索引越多越好，恰好相反過多的索引會導(dǎo)致系統(tǒng)低效。用戶在表中每加進(jìn)一個(gè)索引，維護(hù)索引集合就 要做相應(yīng)的更新工作。

30.定期分析表和檢查表。

分析表的語法：ANALYZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tb1_name[, tbl_name]...

以上語句用于分析和存儲表的關(guān)鍵字分布，分析的結(jié)果將可以使得系統(tǒng)得到準(zhǔn)確的統(tǒng)計(jì)信息，使得SQL能夠生成正確的執(zhí)行計(jì)劃。如果用戶感覺實(shí)際執(zhí)行計(jì)劃并不是預(yù)期的執(zhí)行計(jì)劃，執(zhí)行一次分析表可能會解決問題。在分析期間，使用一個(gè)讀取鎖定對表進(jìn)行鎖定。這對于MyISAM，DBD和InnoDB表有作用。

例如分析一個(gè)數(shù)據(jù)表：analyze table table_name 檢查表的語法：CHECK TABLE tb1_name[,tbl_name]...[option]...option = {QUICK | FAST | MEDIUM | EXTENDED | CHANGED}

檢查表的作用是檢查一個(gè)或多個(gè)表是否有錯(cuò)誤，CHECK TABLE 對MyISAM 和 InnoDB表有作用，對于MyISAM表，關(guān)鍵字統(tǒng)計(jì)數(shù)據(jù)被更新

CHECK TABLE 也可以檢查視圖是否有錯(cuò)誤，比如在視圖定義中被引用的表不存在。

31.定期優(yōu)化表。

優(yōu)化表的語法：OPTIMIZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tb1_name [,tbl_name]...

如果刪除了表的一大部分，或者如果已經(jīng)對含有可變長度行的表(含有 VARCHAR、BLOB或TEXT列的表)進(jìn)行更多更改，則應(yīng)使用OPTIMIZE TABLE命令來進(jìn)行表優(yōu)化。這個(gè)命令可以將表中的空間碎片進(jìn)行合并，并且可以消除由于刪除或者更新造成的空間浪費(fèi)，但OPTIMIZE TABLE 命令只對MyISAM、 BDB 和InnoDB表起作用。

例如： optimize table table_name

注意： analyze、check、optimize執(zhí)行期間將對表進(jìn)行鎖定，因此一定注意要在MySQL數(shù)據(jù)庫不繁忙的時(shí)候執(zhí)行相關(guān)的操作。

補(bǔ)充：

1、在海量查詢時(shí)盡量少用格式轉(zhuǎn)換。

2、ORDER BY 和 GROPU BY:使用 ORDER BY 和 GROUP BY 短語，任何一種索引都有助于 SELECT 的性能提高。

3、任何對列的操作都將導(dǎo)致表掃描，它包括數(shù)據(jù)庫教程函數(shù)、計(jì)算表達(dá)式等等，查詢時(shí)要盡可能將操作移 至等號右邊。

4、IN、OR 子句常會使用工作表，使索引失效。如果不產(chǎn)生大量重復(fù)值，可以考慮把子句拆開。拆開的子 句中應(yīng)該包含索引。

5、只要能滿足你的需求，應(yīng)盡可能使用更小的數(shù)據(jù)類型：例如使用 MEDIUMINT 代替 INT

6、盡量把所有的列設(shè)置為 NOT NULL,如果你要保存 NULL,手動去設(shè)置它，而不是把它設(shè)為默認(rèn)值。

7、盡量少用 VARCHAR、TEXT、BLOB 類型

8、如果你的數(shù)據(jù)只有你所知的少量的幾個(gè)。最好使用 ENUM 類型

9、正如 graymice 所講的那樣，建立索引。

10、合理用運(yùn)分表與分區(qū)表提高數(shù)據(jù)存放和提取速度。

轉(zhuǎn)載于:https://www.cnblogs.com/littlehb/p/6877148.html

總結(jié)

以上是生活随笔為你收集整理的mysql 如何提高批量导入的速度的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。