mydumper介紹

MySQL自身的mysqldump工具支持單線程工作，依次一個(gè)個(gè)導(dǎo)出多個(gè)表，沒有一個(gè)并行的機(jī)，這就使得它無法迅速的備份數(shù)據(jù)。

?

mydumper作為一個(gè)實(shí)用工具，能夠良好支持多線程工作，可以并行的多線程的從表中讀入數(shù)據(jù)并同時(shí)寫到不同的文件里，這使得它在處理速度方面快于傳統(tǒng)的mysqldump。其特征之一是在處理過程中需要對(duì)列表加以鎖定，因此如果我們需要在工作時(shí)段執(zhí)行備份工作，那么會(huì)引起DML阻塞。但一般現(xiàn)在的MySQL都有主從，備份也大部分在從上進(jìn)行，所以鎖的問題可以不用考慮。這樣，mydumper能更好的完成備份任務(wù)。

?

mydumper特性

• 多線程備份
• 因?yàn)槭嵌嗑€程邏輯備份，備份后會(huì)生成多個(gè)備份文件
• 備份時(shí)對(duì)MyISAM表施加FTWRL(FLUSH TABLES WITH READ LOCK),會(huì)阻塞DML語(yǔ)句
• 保證備份數(shù)據(jù)的一致性
• 支持文件壓縮
• 支持導(dǎo)出binlog
• 支持多線程恢復(fù)
• 支持以守護(hù)進(jìn)程模式工作，定時(shí)快照和連續(xù)二進(jìn)制日志
• 支持將備份文件切塊

?

mydumper的安裝

mydumper使用c語(yǔ)言編寫，使用glibc庫(kù)

mydumper安裝所依賴的軟件包，glibc, zlib, pcre, pcre-devel, gcc, gcc-c++, cmake, make, mysql客戶端庫(kù)文件

安裝依賴軟件包，將mysql客戶端庫(kù)文件路徑添加至/etc/ld.so.conf, 如/usr/local/mysql/lib

解壓軟件包進(jìn)入目錄，cmake .

make && make install

?

安裝完成后生成兩個(gè)二進(jìn)制文件mydumper和myloader位于/usr/local/bin目錄下

?

mydumper備份機(jī)制

mydumper工作流程圖

?

?

主要步驟概括

主線程 FLUSH TABLES WITH READ LOCK, 施加全局只讀鎖，以阻止DML語(yǔ)句寫入，保證數(shù)據(jù)的一致性

讀取當(dāng)前時(shí)間點(diǎn)的二進(jìn)制日志文件名和日志寫入的位置并記錄在metadata文件中，以供即使點(diǎn)恢復(fù)使用

N個(gè)（線程數(shù)可以指定，默認(rèn)是4）dump線程 START TRANSACTION WITH CONSISTENT SNAPSHOT; 開啟讀一致的事物

dump non-InnoDB tables, 首先導(dǎo)出非事物引擎的表

主線程 UNLOCK TABLES 非事物引擎?zhèn)浞萃旰?#xff0c;釋放全局只讀鎖

dump InnoDB tables, 基于事物導(dǎo)出InnoDB表

事物結(jié)束

?

備份所生成的文件

• 所有的備份文件在一個(gè)目錄中，目錄可以自己指定
• 目錄中包含一個(gè)metadata文件

　　　　記錄了備份數(shù)據(jù)庫(kù)在備份時(shí)間點(diǎn)的二進(jìn)制日志文件名，日志的寫入位置，

　　　　如果是在從庫(kù)進(jìn)行備份，還會(huì)記錄備份時(shí)同步至主庫(kù)的二進(jìn)制日志文件及寫入位置

• 每個(gè)表有兩個(gè)備份文件：

　　　　database.table-schema.sql 表結(jié)構(gòu)文件

　　　　database.table.sql 表數(shù)據(jù)文件

　　　　如果對(duì)表文件分片，將生成多個(gè)備份數(shù)據(jù)文件，可以指定行數(shù)或指定大小分片

?

mydumper和myloader的使用

mydumper參數(shù)

-B, --database 要備份的數(shù)據(jù)庫(kù)，不指定則備份所有庫(kù) -T, --tables-list 需要備份的表，名字用逗號(hào)隔開 -o, --outputdir 備份文件輸出的目錄 -s, --statement-size 生成的insert語(yǔ)句的字節(jié)數(shù)，默認(rèn)1000000 -r, --rows 將表按行分塊時(shí)，指定的塊行數(shù)，指定這個(gè)選項(xiàng)會(huì)關(guān)閉 --chunk-filesize -F, --chunk-filesize 將表按大小分塊時(shí)，指定的塊大小，單位是 MB -c, --compress 壓縮輸出文件 -e, --build-empty-files 如果表數(shù)據(jù)是空，還是產(chǎn)生一個(gè)空文件（默認(rèn)無數(shù)據(jù)則只有表結(jié)構(gòu)文件） -x, --regex 是同正則表達(dá)式匹配 'db.table' -i, --ignore-engines 忽略的存儲(chǔ)引擎，用都厚分割 -m, --no-schemas 不備份表結(jié)構(gòu) -k, --no-locks 不使用臨時(shí)共享只讀鎖，使用這個(gè)選項(xiàng)會(huì)造成數(shù)據(jù)不一致 --less-locking 減少對(duì)InnoDB表的鎖施加時(shí)間（這種模式的機(jī)制下文詳解） -l, --long-query-guard 設(shè)定阻塞備份的長(zhǎng)查詢超時(shí)時(shí)間，單位是秒，默認(rèn)是60秒（超時(shí)后默認(rèn)mydumper將會(huì)退出） --kill-long-queries 殺掉長(zhǎng)查詢 (不退出) -b, --binlogs 導(dǎo)出binlog -D, --daemon 啟用守護(hù)進(jìn)程模式，守護(hù)進(jìn)程模式以某個(gè)間隔不間斷對(duì)數(shù)據(jù)庫(kù)進(jìn)行備份 -I, --snapshot-interval dump快照間隔時(shí)間，默認(rèn)60s，需要在daemon模式下 -L, --logfile 使用的日志文件名(mydumper所產(chǎn)生的日志), 默認(rèn)使用標(biāo)準(zhǔn)輸出 --tz-utc 跨時(shí)區(qū)是使用的選項(xiàng)，不解釋了 --skip-tz-utc 同上 --use-savepoints 使用savepoints來減少采集metadata所造成的鎖時(shí)間，需要 SUPER 權(quán)限 --success-on-1146 Not increment error count and Warning instead of Critical in case of table doesn't exist -h, --host 連接的主機(jī)名 -u, --user 備份所使用的用戶 -p, --password 密碼 -P, --port 端口 -S, --socket 使用socket通信時(shí)的socket文件 -t, --threads 開啟的備份線程數(shù)，默認(rèn)是4 -C, --compress-protocol 壓縮與mysql通信的數(shù)據(jù) -V, --version 顯示版本號(hào) -v, --verbose 輸出信息模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默認(rèn)為 2

?

??

myloader使用參數(shù)

-d, --directory 備份文件的文件夾 -q, --queries-per-transaction 每次事物執(zhí)行的查詢數(shù)量，默認(rèn)是1000 -o, --overwrite-tables 如果要恢復(fù)的表存在，則先drop掉該表，使用該參數(shù)，需要備份時(shí)候要備份表結(jié)構(gòu) -B, --database 需要還原的數(shù)據(jù)庫(kù) -e, --enable-binlog 啟用還原數(shù)據(jù)的二進(jìn)制日志 -h, --host 主機(jī) -u, --user 還原的用戶 -p, --password 密碼 -P, --port 端口 -S, --socket socket文件 -t, --threads 還原所使用的線程數(shù)，默認(rèn)是4 -C, --compress-protocol 壓縮協(xié)議 -V, --version 顯示版本 -v, --verbose 輸出模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默認(rèn)為2

?

?

使用案例
備份game庫(kù)到/backup/01文件夾中，并壓縮備份文件

mydumper -u root -p ### -h localhost -B game -c -o /backup/01

?

備份所有數(shù)據(jù)庫(kù)，并備份二進(jìn)制日志文件，備份至/backup/02文件夾

mydumper -u root -p ### -h localhost -o /backup/02

?

備份game.tb_player表，且不備份表結(jié)構(gòu)，備份至/backup/03文件夾

mydumper -u root -p ### -h localhost -T tb_player -m -o /backup/03

?

還原

mysqlload -u root -p ### -h localhost -B game -d /backup/02

?

?

mydumper的less locking模式

mydumper使用--less-locking可以減少鎖等待時(shí)間，此時(shí)mydumper的執(zhí)行機(jī)制大致為

• 主線程 FLUSH TABLES WITH READ LOCK （全局鎖）
• Dump線程 START TRANSACTION WITH CONSISTENT SNAPSHOT;
• LL Dump線程 LOCK TABLES non-InnoDB （線程內(nèi)部鎖）
• 主線程UNLOCK TABLES
• LL Dump線程 dump non-InnoDB tables
• LL DUmp線程 UNLOCK non-InnoDB
• Dump線程 dump InnoDB tables

轉(zhuǎn)載于:https://www.cnblogs.com/linuxnote/p/3817698.html

總結(jié)

以上是生活随笔為你收集整理的mydumper备份原理和使用方法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。