MySQL8.0.17推出了一個重量級的功能：clone plugin。允許用戶可以將當前實例進行本地或者遠程的clone。這在某些場景尤其想快速搭建復制備份或者在group replication里加入新成員時非常有用。本文主要試玩下該功能，并試圖闡述下其實現的機制是什么。

我們以本地clone為例，因為去除網絡部分，理解起來會相對簡單點。 也不會過度接觸代碼部分，僅僅做簡單的原理性闡述

示例

本地clone

本地clone無需啟動額外mysqld, 只要在實例上執行一條sql語句，指定下目標目錄即可:

CLONE LOCAL DATA DIRECTORY [=] 'clone_dir';root@test 03:49:43>SELECT STAGE, STATE, END_TIME FROM performance_schema.clone_progress; +-----------+-------------+----------------------------+ | STAGE | STATE | END_TIME | +-----------+-------------+----------------------------+ | DROP DATA | Completed | 2019-07-26 12:07:12.285611 | | FILE COPY | Completed | 2019-07-26 12:07:18.270998 | | PAGE COPY | Completed | 2019-07-26 12:07:18.472560 | | REDO COPY | Completed | 2019-07-26 12:07:18.673061 | | FILE SYNC | Completed | 2019-07-26 12:07:32.090219 | | RESTART | Not Started | NULL | | RECOVERY | Not Started | NULL | +-----------+-------------+----------------------------+ 7 rows in set (0.00 sec)

需要BACKUP_ADMIN權限

遠程clone:

CLONE INSTANCE FROM USER@HOST:PORT IDENTIFIED BY 'password' [DATA DIRECTORY [=] 'clone_dir'] [REQUIRE [NO] SSL];

mysql> SET GLOBAL clone_valid_donor_list = 'example.donor.host.com:3306';
mysql> CLONE INSTANCE FROM clone_user@example.donor.host.com:3306

IDENTIFIED BY 'password';

mysql> CLONE INSTANCE FROM user_name@example.donor.host.com:3306

IDENTIFIED BY 'password'DATA DIRECTORY = '/path/to/clone_dir';

• 需要指定絕對路徑，并且路徑目錄必須不存在
• 在接受機器上啟動mysqld，執行上述語句連接到目標機器，就能從目標機器上clone數據到本地，注意如果沒有指定data directory的話，就默認配置的目錄，已有的文件會被清理掉，并在clone完成后重啟
• 兩個實例上都需要安裝clone plugin
• 必須有相同的字符集設置

官方文檔列出的一些限制：

ddl包括truncate table在clone期間不允許執行 //被block住

An instance cannot be cloned from a different MySQL server version. The donor and recipient must have the same MySQL server version.

the X Protocol port specified by mysqlx_port is not supported for remote cloning operations

The clone plugin does not support cloning of MySQL server configurations

不支持clone binlog

The clone plugin only clones data stored in InnoDB. Other storage engine data is not cloned

Connecting to the donor MySQL server instance through MySQL Router is not supported.

Local cloning operations do not support cloning of general tablespaces that were created with an absolute path. A cloned tablespace file with the same path as the source tablespace file would cause a conflict.

主要流程

主要流程包含如下幾個過程：

[INIT] ---> [FILE COPY] ---> [PAGE COPY] ---> [REDO COPY] -> [Done]

INIT階段

需要持有backup lock, 阻止ddl進行

FILE COPY

按照文件進行拷貝，同時開啟page tracking功能，記錄在拷貝過程中修改的page, 此時會設置buf_pool->track_page_lsn為當前lsn，track_page_lsn在flush page階段用到:

buf_flush_page:if (!fsp_is_system_temporary(bpage->id.space()) &&buf_pool->track_page_lsn != LSN_MAX) {page_t *frame;lsn_t frame_lsn;frame = bpage->zip.data;if (!frame) {frame = ((buf_block_t *)bpage)->frame;}frame_lsn = mach_read_from_8(frame + FIL_PAGE_LSN); //對于在track_page_lsn之后的page, 如果frame_Lsn大于track_page_lsn, 表示已經記錄下page id了，無需重復記錄arch_page_sys->track_page(bpage, buf_pool->track_page_lsn, frame_lsn,false); // 將page id記錄下來，表示在track_page_lsn后修改過的page}會創建一個后套線程page_archiver_thread()，將內存記錄的page id flush到disk上

PAGE COPY

這里有兩個動作

• 開啟redo archiving功能，從當前點開始存儲新增的redo log，這樣從當前點開始所有的增量修改都不會丟失
• 同時上一步在page track的page被發送到目標端。確保當前點之前所做的變更一定發送到目標端

關于redo archiving，實際上這是官方早就存在的功能，主要用于官方的企業級備份工具，但這里clone利用了該特性來維持增量修改產生的redo。 在開始前會做一次checkpoint， 開啟一個后臺線程log_archiver_thread()來做日志歸檔。當有新的寫入時(notify_about_advanced_write_lsn)也會通知他去archive

當arch_log_sys處于活躍狀態時，他會控制日志寫入以避免未歸檔的日志被覆蓋(log_writer_wait_on_archiver), 注意如果log_writer等待時間過長的話， archive任務會被中斷掉

Redo Copy

停止Redo Archiving", 所有歸檔的日志被發送到目標端，這些日志包含了從page copy階段開始到現在的所有日志，另外可能還需要記下當前的復制點，例如最后一個事務提交時的binlog位點或者gtid信息，在系統頁中可以找到

Done

目標端重啟實例，通過crash recovery將redo log應用上去。

原文鏈接
本文為云棲社區原創內容，未經允許不得轉載。

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的MySQL8.0.17 - 初探 Clone Plugin的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。