一、MirrorMaker介紹

MirrorMaker是Kafka附帶的一個用于在Kafka集群之間制作鏡像數據的工具。該工具從源集群中消費并生產到目標群集。這種鏡像的常見用例是在另一個數據中心提供副本。

?

圖1. MirrorMaker

對于遷移的topic而言，topic名字一樣， partition數量可以不一樣，消息的offset會不一樣。

二、注意事項

1）whitelist和blacklist支持正則表達式。比如需要包含兩個topic可以這樣寫，--whitelist 'A|B' or --whitelist 'A,B' ，或者想遷移所有topic可以這樣寫 --whitelist '*'

2）注意在遷移之前創建好相關topic以及規劃好partition數量。

3）老版本和新版本遷移主要考慮consumer和producer的兼容性

4）如果允許的話，建議將MirrorMaker部署在目標集群內，這是因為如果一旦發生網絡分區，消費者與源集群斷開連接比生產者與目標集群斷開連接要安全。如果消費者斷開連接，那么只是當前讀取不到數據，但是數據仍然在源集群內，并不會丟失；而生產者斷開連接，MirrorMaker便生產不了數據，如果MirrorMaker本身處理不當，可能會丟失數據。

5）開始之前配置好限流，防止影響原來集群的正常工作。

三、進度監控

1） 檢測MirrorMaker提交到源集群的位移。我們可以使用kafka-consumer-groups來檢測分區的最新位移以及MirrorMaker提交的位移，通過計算差值得到落后間隔。

2） 查看Ckafka的Topic相關監控，查看當前進度

轉載于:https://www.cnblogs.com/felixzh/p/11508232.html

總結

以上是生活随笔為你收集整理的Kafka MirrorMaker 跨集群同步工具的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。