記錄一下canal的問題。數據同步一直使用阿里開源的canal，最近使用過程中遇到一些問題，在這里記錄一下。

原因

我們使用canal監聽MySQL，然后通過client獲取發送到mq（自定義格式）。最近數據組的同事批量更新了一次數據，大概800多萬，導致了client發生oom，消費不了。

解決方案

修改server端的filter，將監聽的表去掉，這樣client就不會再獲取到這張表的數據了，避免client大量獲取server端的數據。（其實根本問題在于client寫的比較粗糙，目前這種方法在不修改源碼的基礎上能很好的解決目前的問題，后續再對client進行調整優化）

我們自己做了一些自定義的管理，可以實時修改instance.properties這個文件。而且canal server開啟了auto scan之后會自動掃描配置更改自動重啟。

總結

以上是生活随笔為你收集整理的Canal数据堆积的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。