日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

增量同步_使用Kettle工具进行增量数据同步

發布時間:2023/12/10 编程问答 34 豆豆
生活随笔 收集整理的這篇文章主要介紹了 增量同步_使用Kettle工具进行增量数据同步 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

增量同步的方式有很多種,我使用的是: 快照表 + 觸發器
需求:

當主庫庫表發生增刪改時,從庫庫表與主庫庫表數據保持一致。

環境:
1、Mysql
2、kettle 7.1

思路:

1、在主庫中,將需要同步的庫表新建快照表,表結構一致。

#創建同步臨時表(insert) DROP TABLE IF EXISTS brch_temp_insert; CREATE TABLE brch_temp_insert like brch;#創建同步臨時表(delete) DROP TABLE IF EXISTS brch_temp_delete; CREATE TABLE brch_temp_delete like brch;#創建同步臨時表(update) DROP TABLE IF EXISTS brch_temp_update; CREATE TABLE brch_temp_update like brch;

2、在主庫中,分別新增庫表的增、刪、改的觸發器。

#創建同步表觸發器(insert) DROP TRIGGER IF EXISTS tri_insert_brch; CREATE TRIGGER tri_insert_brch AFTER INSERT ON brch FOR EACH ROW BEGINinsert into brch_temp_insert( ROW_ID,BRCH_ID,BRCH_NAME) values(new.ROW_ID,new.BRCH_ID,new.BRCH_NAME); END;#創建同步表觸發器(delete) DROP TRIGGER IF EXISTS tri_delete_brch; CREATE TRIGGER tri_delete_brch AFTER delete ON brch FOR EACH ROW BEGINinsert into brch_temp_delete(ROW_ID) values(old.ROW_ID); END;#創建同步表觸發器(update) DROP TRIGGER IF EXISTS tri_update_brch; CREATE TRIGGER tri_update_brch AFTER update ON brch FOR EACH ROW BEGINinsert into brch_temp_update(ROW_ID,BRCH_ID,BRCH_NAME) values(new.ROW_ID,new.BRCH_ID,new.BRCH_NAME); END;

2、新建一個轉換,該轉換只針對一張表的增刪改。

3、新建‘表輸入’控件,查詢主庫的快照表

4、新建‘插入/更新’控件,插入數據到從庫的庫表,查詢的關鍵字要求唯一。

5、新建‘刪除’控件,將主庫的快照表中的數據刪除。

注意:主庫的庫表,要新增針對增、刪、改的三張表快照,三張表的步驟同上面的1 - 5 一致。

6、新建作業控件

分別將三個轉換引用進來。

7、配置發送郵件服務

8、完成

總結

以上是生活随笔為你收集整理的增量同步_使用Kettle工具进行增量数据同步的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。