用Python連接MySQL數(shù)據(jù)庫時，會用到MySQLdb庫，這里下載↓↓↓

https://pypi.python.org/pypi/MySQL-python/

這個庫提供了對數(shù)據(jù)庫的普遍操作，增刪改查之類的，教程可以參考：

python下的MySQLdb使用

其中，有一個很cooooooooooool的功能就是批量操作executemany，可以進(jìn)行多行插入

先寫sql語句。要注意的是里面的參數(shù)，不管什么類型，統(tǒng)一使用%s作為占位符
例如，向user表(username,salt,pwd)插入數(shù)據(jù)

sql = 'INSERT INTO 表名 VALUES(%s,%s,%s)'
對應(yīng)的param是一個tuple或者list

param = ((username1, salt1, pwd1), (username2, salt2, pwd2), (username3, salt3, pwd3))

這樣就包含了三條數(shù)據(jù)，通過executemany插入
n=cursor.executemany(sql,param)?

上個雙休日在學(xué)校往畢設(shè)系統(tǒng)里導(dǎo)名單，想到Java就心累于是用Python寫

作為一個老實的土鱉，在知道有這個酷炫的方法情況下，還是有點不敢用，先保守地寫了一個循環(huán)的版本

幾百條數(shù)據(jù)很快就導(dǎo)進(jìn)去的，本來這就該結(jié)束了，但是又覺得有點不甘心，想知道兩種插入方式效率有多大差別

于是簡單模擬了10000個用戶的數(shù)據(jù)，試著用兩種方法各跑了一遍

# -------------------------------------------
# Python MySQLdb 循環(huán)插入execute與批量插入executemany性能分析
# 插入數(shù)據(jù)量：10000條
# 每條字段：username, salt, pwd
# Author : Lrg
# -------------------------------------------
# encoding = utf-8
import MySQLdb
import xlrd
import time
import sys
reload(sys)
sys.setdefaultencoding("utf-8")
?
# 從users.xls文件獲取10000條用戶數(shù)據(jù)
# 該文件由create_users.py生成
def get_table():
?? ?FILE_NAME = 'users.xls'
?? ?data = xlrd.open_workbook(FILE_NAME)
?? ?table = data.sheets()[0]
?? ?return table
?
# 循環(huán)插入execute?? ?
def insert_by_loop(table):
?? ?nrows = table.nrows
?? ?for i in xrange(1,nrows):
?? ??? ?param=[]
?? ??? ?try:
?? ??? ??? ?sql = 'INSERT INTO user values(%s,%s,%s)'
?? ??? ??? ?# 第一列username，第二列salt，第三列pwd
?? ??? ??? ?print 'Insert: ',table.cell(i, 0).value, table.cell(i, 1).value, table.cell(i, 2).value
?? ??? ??? ?param = (table.cell(i, 0).value, table.cell(i, 1).value, table.cell(i, 2).value)
?? ??? ??? ?# 單條插入
?? ??? ??? ?cur.execute(sql, param)
?? ??? ??? ?conn.commit()
?? ??? ?except Exception as e:
?? ??? ??? ?print e
?? ??? ??? ?conn.rollback()
?? ?print '[insert_by_loop execute] total:',nrows-1
?
# 批量插入executemany
def insert_by_many(table):
?? ?nrows = table.nrows
?? ?param=[]
?? ?for i in xrange(1,nrows):
?? ??? ?# 第一列username，第二列salt，第三列pwd
?? ??? ?param.append([table.cell(i, 0).value, table.cell(i, 1).value, table.cell(i, 2).value])
?? ?try:
?? ??? ?sql = 'INSERT INTO user values(%s,%s,%s)'
?? ??? ?# 批量插入
?? ??? ?cur.executemany(sql, param)
?? ??? ?conn.commit()
?? ?except Exception as e:
?? ??? ?print e
?? ??? ?conn.rollback()?? ?
?? ?print '[insert_by_many executemany] total:',nrows-1?? ?
?
?
# 連接數(shù)據(jù)庫
conn = MySQLdb.connect(host="127.0.0.1", port=3306, user="lrg", passwd="lrg", db="pythontest")
cur = conn.cursor()
?
# 新建數(shù)據(jù)庫
cur.execute('DROP TABLE IF EXISTS user')
sql = """CREATE TABLE user(
?? ??? ?username CHAR(255) NOT NULL,
?? ??? ?salt CHAR(255),
?? ??? ?pwd CHAR(255)
?? ??? ?)"""
cur.execute(sql)
?
# 從excel文件獲取數(shù)據(jù)
table = get_table()
?
# 使用循環(huán)插入
start = time.clock()
insert_by_loop(table)
end = time.clock()
print '[insert_by_loop execute] Time Usage:',end-start
?
# 使用批量插入
start = time.clock()
insert_by_many(table)
end = time.clock()
print '[insert_by_many executemany] Time Usage:',end-start
?
# 釋放數(shù)據(jù)連接
if cur:
?? ?cur.close()
if conn:
?? ?conn.close()

一共10000條數(shù)據(jù)

一行行循環(huán)execute，耗時200秒左右（下面244秒的數(shù)據(jù)是每次循環(huán)加了輸出語句的，應(yīng)該有點影響）

而用executemany一次提交全部，耗時只有0.86秒……

[insert_by_loop execute] total: 10000
[insert_by_loop execute] Time Usage: 244.164735527
[insert_by_many executemany] total: 10000
[insert_by_many executemany] Time Usage: 0.861406346583
[Finished in 245.7s]

土鱉現(xiàn)在有一種難以言喻的微妙感
想起前兩天用正則表達(dá)式用的正爽時，看到一篇文章說，同樣的功能用字符串函數(shù)完成比正則快幾十幾百倍……

討厭啦泥們不要欺負(fù)新手啊！！【捂臉】

--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

附上生成模擬數(shù)據(jù)user.xls的代碼，簡單粗暴（MD5部分實驗程序：Python簡單密碼加密程序,加鹽(salt)md5）

# -------------------------------------------
# Python生成user程序
# Author : Lrg
# -------------------------------------------
# encoding = utf-8
from random import Random
from hashlib import md5
import xlwt
?
# 獲取由4位隨機(jī)大小寫字母、數(shù)字組成的salt值
def create_salt(length = 4):
?? ?salt = ''
?? ?chars = 'AaBbCcDdEeFfGgHhIiJjKkLlMmNnOoPpQqRrSsTtUuVvWwXxYyZz0123456789'
?? ?len_chars = len(chars) - 1
?? ?random = Random()
?? ?for i in xrange(length):
?? ??? ?# 每次從chars中隨機(jī)取一位
?? ??? ?salt += chars[random.randint(0, len_chars)]
?? ?return salt
?
# 獲取原始密碼+salt的md5值
def create_md5(pwd,salt):
?? ?md5_obj = md5()
?? ?md5_obj.update(pwd + salt)
?? ?return md5_obj.hexdigest()
?
# 創(chuàng)建一個xls文件
book = xlwt.Workbook()
# 創(chuàng)建一個sheet
sheet = book.add_sheet('users', cell_overwrite_ok=True)
# 每列第一行寫上列名
sheet.write(0, 0, 'username')
sheet.write(0, 1, 'salt')
sheet.write(0, 2, 'pwd')
# 生成user數(shù)量
count = 10000
# 第一個id
first_id = 311010000
for i in xrange(count):
?? ?current_id = str(first_id + i)
?? ?salt = create_salt()
?? ?pwd = create_md5(current_id, salt)
?? ?sheet.write(i+1, 0, current_id)
?? ?sheet.write(i+1, 1, salt)
?? ?sheet.write(i+1, 2, pwd)
# 保存
book.save('users.xls')

--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

過了一天，又學(xué)到一個打臉方法

MySQL本身有個load data infile的方法，格式類似這樣：

load data infile 'D:/Python workspace/user.txt' into table user(username, salt, pwd)

這個方法有多快？
從txt導(dǎo)5個字段的9086條數(shù)據(jù)到mysql，先讀到程序里，再用executemany是0.29秒，直接用這個語句導(dǎo)的話，0.17秒……

想到昨天一個上午都在磨磨唧唧研究循環(huán)跟批量，這下被打臉也是打的有點爽……
————————————————
版權(quán)聲明：本文為CSDN博主「尾巴七」的原創(chuàng)文章，遵循CC 4.0 BY-SA版權(quán)協(xié)議，轉(zhuǎn)載請附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/colourless/article/details/41444069

總結(jié)

以上是生活随笔為你收集整理的Python MySQLdb 循环插入execute与批量插入executemany性能分析(list批量写法亲测成功)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。