日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 运维知识 > 数据库 >内容正文

数据库

使用 Xtrabackup 在线对MySQL做主从复制

發布時間:2025/6/15 数据库 27 豆豆
生活随笔 收集整理的這篇文章主要介紹了 使用 Xtrabackup 在线对MySQL做主从复制 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
  • 說明1.1 xtrabackupmysqldump對于導出10G以下的數據庫或幾個表,還是適用的,而且更快捷。但一旦數據量達到100-500G,無論是對原庫的壓力還是導出的性能,mysqldump就力不從心了。Percona-Xtrabackup備份工具,是實現MySQL在線熱備工作的不二選擇,可進行全量、增量、單表備份和還原。(但當數據量更大時,可能需要考慮分庫分表,或使用 LVM 快照來加快備份速度了)Xtrabackup有兩個主要的工具:xtrabackup、innobackupex(1)xtrabackup只能備份InnoDB和XtraDB兩種數據表,而不能備份MyISAM數據表。(2)innobackupex-1.5.1則封裝了xtrabackup,是一個腳本封裝,所以能同時備份處理innodb和myisam,但在處理myisam時需要加一個讀鎖XtraBackup優勢 :
  • 無需停止數據庫進行InnoDB熱備
  • 增量備份MySQL
  • 流壓縮到傳輸到其它服務器
  • 能比較容易地創建主從同步
  • 備份MySQL時不會增大服務器負載
  • 1.2 復制為什么要做主從復制? 1.為實現讀寫分離,減輕主庫負載或數據分析。 2.為數據安全,做備份恢復。 3.當出現問題時,主從切換,實現高可用。考慮點; 一主一從,一旦做了主從切換,不通過其它HA手段干預的話,業務訪問的還是原IP,而且原主庫很容易就作廢了。 于是 主-主 復制就產生了,憑借各自不同的 server-id ,可以避免 “A的變化同步到B,B應用變化又同步到A” 這樣循環復制的問題。但建議是,主主復制,其中一個主庫強制設置為只讀,主從切換后架構依然是可用的。 復制過程是slave主動向master拉取,而不是master去推的,所以理想情況下做搭建主從時不需要master做出任何改變甚至停服,slave失敗也不影響主庫。3.原理(1) master將改變記錄到二進制日志(binary log)中(這些記錄叫做二進制日志事件,binary log events);(2) slave將master的binary log events拷貝到它的中繼日志(relay log);(3) slave重做中繼日志中的事件,將改變反映它自己的數據。
    該過程的第一部分就是master記錄二進制日志。在每個事務更新數據完成之前,master在二進制日志記錄這些改變。MySQL將事務串行的寫入二進制日志,即使事務中的語句都是交叉執行的。在事件寫入二進制日志完成后,master通知存儲引擎提交事務。

    下一步將master的binary log拷貝到它自己的中繼日志。首先,slave開始一個工作線程——I/O線程。I/O線程在master上打開一個普通的連接,請求從指定日志文件的指定位置之后的日志內容,然后開始binlog dump process。Binlog dump process從master的二進制日志中讀取事件,如果已經跟上master,它會睡眠并等待master產生新的事件。I/O線程將這些事件寫入中繼日志。

    SQL slave thread(SQL從線程)處理該過程的最后一步。SQL線程從中繼日志讀取事件,并重放其中的事件而更新slave的數據,使其與master中的數據一致。只要該線程與I/O線程保持一致,中繼日志通常會位于OS的緩存中,所以中繼日志的開銷很小。
    此外,在master中也有一個工作線程:和其它MySQL的連接一樣,slave在master中打開一個連接也會使得master開始一個線程。復制過程有一個很重要的限制——復制在slave上是串行化的,也就是說master上的并行更新操作不能在slave上并行操作。

    下面開始配置主從:

    主從版本一致—>主庫授權復制帳號—>確保開啟binlog及主從server_id唯一—>xtrabackup恢復到從庫—>記錄xtrabackup_binlog_info中binlog名稱及偏移量—>從庫change master to —>slave start—>檢查兩個yes

  • 創建復制賬號
    在主庫上
  • mysql> GRANT REPLICATION SLAVE ON . TO 'slave_ali'@'192.168.5.%' IDENTIFIED BY 'slave_ali_pass';
    mysql> FLUSH PRIVILEGES;3. 使用Percona-Xtrabackup恢復數據
    這里假設比較簡單的情況:全量備份,全量恢復,不涉及增量。
    賦予備份用戶權限:

    mysql> CREATE USER 'bkpuser'@'localhost' IDENTIFIED BY 'bkppass';
    mysql> GRANT RELOAD, LOCK TABLES, REPLICATION CLIENT,PROCESS,SUPER ON . TO 'bkpuser'@'localhost';
    mysql> FLUSH PRIVILEGES;

    假設 MySQL 安裝目錄在/opt/mysql,my.cnf配置文件/opt/mysql/my.cnf,端口3306,數據目錄/opt/mysql_data,sock位于/opt/mysql_data/mysql.sock。備份數據放在/data/backup/mysql/。
    3.1 全量備份

    $ export BKP_PASS="bkppass"
    $ innobackupex --defaults-file=/opt/mysql/my.cnf --host=localhost --port=3306 --user=bkpuser --password=${BKP_PASS} /data/backup/mysql

    默認會以當天 日期+時間 戳命名備份目錄,如 2015-09-16_00-00-02。一般會對它進行tar壓縮,由于tar只能單進程,所以往往這個壓縮過程會比備份過程耗時2倍還多。拷貝到需要恢復(做從庫)的目錄。3.2 全量恢復
    恢復準備
    $ innobackupex --use-memory=16G --apply-log 2015-09-16_00-00-02

    確認數據庫是關閉的,并且datadir,目錄下為空
    $ innobackupex --defaults-file=/opt/mysql/my.cnf --use-memory=16G --copy-back 2015-09-16_00-00-02
    第一步是恢復準備,apply-log應用全備時 log sequence number 之后的數據,完了后會輸出類似 InnoDB: Last MySQL binlog file position 0 262484673, file name ./mysql-bin.000135 的信息,告訴我們了后面的從庫應該從哪個地方開始復制。時間不會很長,但最好用screen之類的軟件放到后臺執行,以免終端斷開,功虧一簣。

    第二步使用新的my.cnf文件,將完整的mysql數據文件拷貝到datadir下。4. 做從庫
    一般在copy-back之后需要修改數據文件目錄的屬性:
    chown -R mysql.mysql /opt/mysql_data4.1 my.cnf
    從庫的配置文件簡單一點可以從主庫拷貝過來,但根據需要,要注意以下幾處
    server-id一定不能與主庫相同
    否則,會出現如下錯誤:
    Slave: received end packet FROM server, apparent master shutdown

    從庫一般作為只讀庫使用,所以為安全起見,設置只讀 set global read_only=1;
    可以在從服務器的 my.cnf 里加入read-only參數來實現這一點,唯一需要注意的一點事read-only僅對沒有super權限的用戶有效。所以最好核對一下連接從服務器的用戶,確保其沒有super權限。

    關于從庫的事件
    MYSQL Replication 可以很好的達到你的預期:從庫的事件不會自己去執行,主庫會把event執行的結果直接同步。在statement模式下,復制的是 event BODY 里的SQL,在row模式下是主庫事件執行完成后影響的行精確復制。
    從庫 event_scheduler 參數是被忽略的,并且每個event 狀態會是 SLAVESIDE_DISABLED ,但CREATE/ALTER EVENT等操作語句是會復制。主從切換后,從庫事件狀態會變成ENABLE。

    參數調整
    從庫是不允許寫入的,否則數據就不一致了。從庫實例的配置可以不要主庫那么高,比如原16G的buffer pool,根據用途,從庫可以設到4-8G(當時前提是將來你也不打算把它切換為主庫用)。
    相應的,read_buffer_size,sort_buffer_size, query_cache_size 這些讀相關參數可以略微增大

    skip-slave-start
    主從創建完成后,默認情況下次啟動從庫,會自動啟動復制進程,一般這也正是我們需要的,但在維護階段時你可能不想從庫啟動后立即開始復制,--skip-slave-start選項可以幫到你

    log-slave-updates
    正常情況從庫是不需要寫回放日志產生的binlog,無形中增加服務器壓力。但如果你想要實現級聯復制即 A -> B -> C ,B同時是A的從庫,也是C的主庫,就需要開啟 log-bin 和 log-slave-updates 。

    另外,建議顯示設置 log-bin=mysql-bin 確保主從正常切換。 show variables like 'log%' 查看當前值。

    關于過濾表見mysql-replica-filter
    sync_binlog
    For the greatest possible durability and consistency in a replication setup using InnoDB with transactions, you should use innodb_flush_log_at_trx_commit=1 and sync_binlog=1 in the master my.cnf file.

    上面的話同時也意味著性能最低。可以在這埋點,假如出現慢的情況,把兩參數調成2

    主從參數注釋:

    Slave_IO_State: Waiting for master to send event
    Master_Log_File: mysql-bin.000004
    Read_Master_Log_Pos: 931
    Relay_Log_File: slave1-relay-bin.000056
    Relay_Log_Pos: 950
    Relay_Master_Log_File: mysql-bin.000004
    Slave_IO_Running: Yes
    Slave_SQL_Running: Yes
    Exec_Master_Log_Pos: 931
    Relay_Log_Space: 408
    Seconds_Behind_Master: 0

    *

    Master_Log_File: I/O線程當前正在讀取的主服務器二進制日志文件的名稱

    • Read_Master_Log_Pos:本機I/O線程讀取主服務器二進制日志位置

    • 上面2各值,與在主庫執行show master status;看到的值如果基本接近,說明從庫IO線程已經趕上了主庫的binlog。

    • Relay_Master_Log_File: 由SQL線程執行的包含多數近期事件的主服務器二進制日志文件的名稱

    • Exec_Master_Log_Pos: SQL線程執行來自master的二進制日志最后一個事件位置

    • 與上面的Relay_Master_Log_File一起,同Master_Log_File、Read_Master_Log_Pos比較,能看到SQL線程是否已經趕上從庫本地的IO線程。

      Slave_IO_Running:I/O線程是否啟動并成功連接到主服務器上
      一般和下面的Slave_IO_Running和Seconds_Behind_Master一起監控主從健康狀態

    • Slave_SQL_Running:SQL線程是否啟動

    • Seconds_Behind_Master: 從屬服務器“落后”多少秒

    官網的解釋是:The number of seconds that the slave SQL thread is behind processing the master binary log。但是當 SBM 為 0 時也不代表一定沒有延遲,因為可能因為網絡慢的緣故,從庫的IO線程傳輸binlog太慢,它的SQL線程應用日志很容易就趕上relay log,但實際主庫產生的binlog比傳輸的快,就會造成為0的假象。
    有時你反復status會發現 Seconds_Behind_Master 的值在0與一個很大的數之間波動,有可能是主庫上執行了一個非常大的event,沒執行完畢的時候從庫SBM顯示為0,event執行完成并傳輸完binlog后,就會顯示SBM非常巨大

    另外,relay log 中event記錄的時間戳是主庫上的時間戳,而SQL thread的時間戳是從庫上的,如果主庫和從庫的時間偏差較大,那么這個SBM的意義就基本不存在了。

    轉載于:https://blog.51cto.com/13451715/2331729

    總結

    以上是生活随笔為你收集整理的使用 Xtrabackup 在线对MySQL做主从复制的全部內容,希望文章能夠幫你解決所遇到的問題。

    如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。