mysql 批量插入数据过多的解决方法
生活随笔
收集整理的這篇文章主要介紹了
mysql 批量插入数据过多的解决方法
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
使用場景:
測試時需要插入100w的數據,跑sql腳本插入非常慢。
存儲過程如下:
//DELIMITER DROP PROCEDURE if EXISTS createAmountCount; create PROCEDURE createAmountCount() BEGIN DECLARE i int; set i=0; drop table if exists person ; create table person( id int not null auto_increment, name varchar(40) not null, age int, primary key(id) )engine=innodb charset=gb2312; while i<10000 DO insert into person (name, age) values(CONCAT('usercode',i)); set i=i+1; end while; END; //DELIMITER CALL createAmountCount();?
解決方案:
1. 使用sql 生成100w數據到txt文件中。
public static void main(String[] args) throws IOException {// TODO Auto-generated method stubBufferedWriter writer = new BufferedWriter(new FileWriter(new File("D:/driver/data.txt"), true));for(int i=0;i<1000000;i++){if(i%10==0){writer.write("趙"+(i/10)+"\t"+ (int)(Math.random()*100)+"\n");}if(i%10==1){writer.write("錢"+(i/10)+"\t"+ (int)(Math.random()*100)+"\n");}if(i%10==2){writer.write("孫"+(i/10)+"\t"+ (int)(Math.random()*100)+"\n");}if(i%10==3){writer.write("李"+(i/10)+"\t"+ (int)(Math.random()*100)+"\n");}if(i%10==4){writer.write("鄭"+(i/10)+"\t"+ (int)(Math.random()*100)+"\n");}if(i%10==5){writer.write("吳"+(i/10)+"\t"+ (int)(Math.random()*100)+"\n");}if(i%10==6){writer.write("周"+(i/10)+"\t"+ (int)(Math.random()*100)+"\n");}if(i%10==7){writer.write("王"+(i/10)+"\t"+ (int)(Math.random()*100)+"\n");}if(i%10==8){writer.write("張"+(i/10)+"\t"+ (int)(Math.random()*100)+"\n");}if(i%10==9){writer.write("劉"+(i/10)+"\t"+ (int)(Math.random()*100)+"\n");}}writer.close();}2. 數據庫中將數據導入表中:
create table person( id int not null auto_increment, name varchar(40) not null, age int, primary key(id) )engine=innodb charset=gb2312;load data local infile 'D:/driver/data.txt' into table person(name,age);select count(*) from person;耗費時間:
[SQL]load data local infile 'D:/driver/data.txt' into table person(name,age); 受影響的行: 1000000 時間: 10.067s本方案的缺點:
1.權限。 非admin用戶沒有導入。
2. 寫文件代碼。對測試人員來說,寫文件不僅僅限于java,可以使用任何語言實現之。
?
轉載于:https://www.cnblogs.com/davidwang456/p/4460309.html
《新程序員》:云原生和全面數字化實踐50位技術專家共同創作,文字、視頻、音頻交互閱讀總結
以上是生活随笔為你收集整理的mysql 批量插入数据过多的解决方法的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: spring源码分析之spring-jm
- 下一篇: MYSQL存储过程中 使用变量 做表名-