筆者2013年接了一個資源管理咨詢項目，負(fù)責(zé)該項目的實施管理，其中有幾個月是組織幾個開發(fā)廠家寫遷移腳本，做數(shù)據(jù)遷移（從原有的多個系統(tǒng)中把數(shù)據(jù)同步過來），僅分享當(dāng)時的經(jīng)驗。
前期先做基礎(chǔ)數(shù)據(jù)梳理和映射確認(rèn)，組織所有的廠商一起梳理區(qū)域、標(biāo)準(zhǔn)地址、局站等信息，并梳理統(tǒng)一命名原則，確認(rèn)需要采集的數(shù)據(jù)來源及存在的關(guān)系（從資源系統(tǒng)、網(wǎng)管系統(tǒng)、號線系統(tǒng)、手工臺賬等獲取）。
然后做字段確認(rèn)，和哪個系統(tǒng)字段匹配，字段格式是否一致，新系統(tǒng)的數(shù)據(jù)格式是否可以更改。
然后寫遷移腳本，對幾個開發(fā)廠商簡單分工，每個廠商負(fù)責(zé)寫幾個專業(yè)的遷移腳本，過程中有疑問，再做字段確認(rèn)和答疑。
遷移腳本匯總與驗證檢查，讓他們首先驗證自己的遷移腳本是否可以遷移數(shù)據(jù)，然后再做交叉驗證，對出現(xiàn)的問題進行討論總結(jié)。
遷移腳本的更新與備份，平時都在客戶提供的環(huán)境中進行數(shù)據(jù)驗證及備份。但有一次用戶服務(wù)器存儲損害導(dǎo)致所有的腳本及備份數(shù)據(jù)丟失，后面費了很大功夫才從每個開發(fā)人員手里匯總遷移腳本，并又重新做了多輪驗證。后期要求所有的開發(fā)廠商做異處備份，在多臺服務(wù)器上進行備份，如有可能，在本地也存儲一份。
做數(shù)據(jù)清洗時，數(shù)據(jù)的關(guān)聯(lián)關(guān)系也被清洗掉，需要數(shù)據(jù)遷移后，在數(shù)據(jù)庫中重新建立關(guān)聯(lián)關(guān)系。
數(shù)據(jù)遷移后的核查，培訓(xùn)用戶利用自定義導(dǎo)出功能，把需要核查的數(shù)據(jù)導(dǎo)出，按照一定的順序進行核查確認(rèn)，讓他們對重復(fù)數(shù)據(jù)、殘缺數(shù)據(jù)進行修改。

總結(jié)

以上是生活随笔為你收集整理的数据迁移（数据清洗）分享的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。