這篇文章，淺談數據治理與ETL流程關系。
我認為可以從這幾個方面去討論數據治理（Data Governance):一致性、準確性、關聯性、完整性、及時性。他們都和ETL實施起來流程密切相關。

1、一致性：隨數據傳輸文件一起傳輸過來的還有check_log表文件。ETL加工之前檢測check_log表中得record_count value和select count(*) from table做比較，只有通過檢測，才進行下一步ETL裝載。否則程序abolish。

2、準確性：檢測check_log表中money_column_name和sum(money_amount)，對比select sum(money_amount) from table。
3、關聯性：主表進行左關聯非空驗證。select count(a.index_id) from main_table a left join slave_table b on a.index_id=b.index_id where b.index_id is null, 這個驗證發生在ETL加工載入到ODS層后，因此關聯性校驗并不會影響ETL進度，只是需要人工查驗原因并給出補救措施。
4、完整性：對所需字段進行非空和碼值校驗。
select count()from table where column_A is null;
select count() from table where column_A not in ( 1,2,3);
記錄數為0則代表通過非空和碼值校驗，否則進行預警，并人工查看未通過原因并提供原因給到源端，不影響跑批。

5、及時性：規定時間內檢查目標文件夾內是否到了check_log文件，如果存在則通過及時性校驗。如果不存在，則預警通知運維和源端，整體跑批流程進入下一個循環。

總結

以上是生活随笔為你收集整理的数据治理与ETL流程关系的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。