文章目錄

增量同步方法
1.先同步存量數據
2.再同步增量數據（根據自增ID、日期條件）
前提條件:
1.只針對數據增長,如果老數據被update/delete則無法使用增量同步方式。
基于主鍵自增ID增量同步

Oracle同步Mysql演示
idno采用序列自增
添加項目

AutoIncrID-Project

添加模板



構建reader，添加增量同步SQL

select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1 where idno > ${startId} and idno <= ${endId}

說明：
采用的是左開右閉 同步原則:
大于0小于等于當前最大max(idno)（0,1048576]
左閉右閉和左閉右開 都存在數據缺失和重復數據的現象！

構建writer

編輯任務

修改任務名稱
輔助參數選擇主鍵自增

-DstartId='%s' -DendId='%s'# 表名 otbs1#主鍵 idno

清理數據
將Mysql數據庫中的otbs1數據清空

執行一次

查看實時日志，任務尚未執行完成，需要手動點擊【刷新日志】




Mysql最大的idno是1048576

上面是第一次同步存量數據，下一次同步應該是大于1048576小于 最大的idno，如果單獨使用datax需要自己設置，datax-web幫我們做了這個事情。

刷新頁面，點擊編輯


在Oracle數據中的otbs1表中添加一條數據，這是同步應該是同步(1048576,max(idno)]簡言之(1048576,1048577]，同步數量為1條，對吧！

插入數據

-- 初始化數據 insert into OTBS1 (IDNO,COL1, COL2, COL3, DT, COL5,COL6, COL7,COL8, COL9, COL10) Values (1048577,'字符串1', 1, 1696248667889, sysdate,3.141592653578,'字符串2','字符串3','字符串4','字符串5','字符串6');

總結

以上是生活随笔為你收集整理的ETL异构数据源Datax_自增ID增量同步_12的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。