PowerCenter基础心得
心得學習
[轉(zhuǎn)自CSDN:http://blog.csdn.net/hualin_xie/article/details/4885800]
通過將近一周的學習時間,我大致掌握了PowerCenter?的基本架構(gòu)和設計開發(fā)過程中的一些方法和技巧。PowcerCenter?也是屬于典型的?C/S?架構(gòu),分為服務器組件和客戶端組件,服務端有三個服務:?Informatica?Service?、Integration Service?和?Repository?Service?,客戶端主要就是?RDWM?四個組件。客戶端主要用于設計開發(fā)?WorkFlow?,而服務器則用于運行?WorkFlow?。以下是我整個學習過程中的一些心得體會:
PowerCenter和?Datastage?一樣,都是一款強大的?ETL?工具,這在我的學習中我深有體會。很多人說技術(shù)強的人根本不用工具,但我覺得不完全如此,我覺得只要工具用的恰到好處,那能達到事半功倍的效果。比如,如果你想對一個異構(gòu)的數(shù)據(jù)源進行關(guān)聯(lián)查詢,那你不得不把異構(gòu)的數(shù)據(jù)導入到同一個數(shù)據(jù)庫中,然后再進行關(guān)聯(lián)查詢,這是多費神的一件事啊!然而,如果懂得使用?PowerCenter?工具,那么這類型的工作將很容易得到解決,你只要使用?PowerCenter?中的Joiner?組件或是?LookUp?組件就可以了。此外,?PowerCenter?還為?ETL?過程提供很多有用的組件:?Source?Qualifier?組件實現(xiàn)把源數(shù)據(jù)抽取出來,它相當于?ETL?的抽取的過程;?Expression?組件、?Filter?組件、?Aggregator?組件等實現(xiàn)數(shù)據(jù)的清洗轉(zhuǎn)換,相當于轉(zhuǎn)換的過程;?Update?Stategy?組件則是一個比較高級的組件,能根據(jù)更新策略進行目標表的加載,相當于加載的過程。可以說,只要你想要在?ETL?過程中實現(xiàn)的操作,都能在?PowerCenter?中實現(xiàn)。
以上說了一些PowerCenter?在?ETL?過程中會使用到的一些重要組件,而對這些組件的使用又有許多要注意的地方和技巧性的東西。比如,?Active?組件和?Passive?組件使用上的注意;?N個同構(gòu)數(shù)據(jù)源只需用?1?個?Source?Qualify?組件關(guān)聯(lián),關(guān)聯(lián)時建議將在?Source??Analyzer中?將需要關(guān)聯(lián)的源表?,?用連線手工關(guān)聯(lián)起來,在Mapping?設計區(qū)刪除各個源所帶的?Source?Qualify?組件,用一個新的?Source?Qualify?組件包含所有源的字段內(nèi)容?;?N個異構(gòu)數(shù)據(jù)源需用?n-1?個?Joiner組件關(guān)聯(lián),關(guān)聯(lián)時建議將數(shù)據(jù)量少的設置為?Master?;?LookUp組件中如果要?LookUp?的次數(shù)少且?LookUp?表的數(shù)據(jù)量很大的話就沒必要設置?Cache?;?Sorter?組件的使用可以提高?Joiner?組件和?Aggregator?組件的效率,但要注意?Sorter組件排序的順序要與匯總的順序一致,?Joiner組件和?Aggregator?組件中的?屬性Sort?記得鉤上?;Update?Strategy?有多種數(shù)據(jù)操作:?DD_INSERT??、?DD_UPDATE?、?DD_DELETE?和?DD_REJECT?,用?Update?Strategy?對目標表進行操作時一定要記得在?Target?Designer?中設定主鍵值;不連接的?LookUp?組件的使用?時?要記得選中相應Port?的返回值選項"R?";?Target?load?type?設置中?當目標表沒有索引約束時可選Bulk?類型,數(shù)據(jù)量大時效率較明顯?,因為它跳過數(shù)據(jù)庫的日志操作。
對于組件的使用,還是有很多需要注意的和技巧性的東西。實際上,這些都是比較細的地方,但是,要想真正使用PowerCenter?進行設計開發(fā)工作,更必需清楚它的六大開發(fā)步驟(定義源、定義目標、創(chuàng)建?Mapping?、定義任務、創(chuàng)建?WorkFlow?、?WorkFlow?的調(diào)度監(jiān)控),特別是當出現(xiàn)問題時如何通過監(jiān)控日志進行排錯的能力尤其重要,還有就是通過?Debugger?對?Mapping?進行調(diào)試以及一些調(diào)優(yōu)的操作,這些都是一個設計開發(fā)工作成功的關(guān)鍵。不過,這就需要在平時的學習和項目中進行積累和掌握了。
?
在這次PowerCenter?的學習過程中,還得到了同事的一些幫助和指導。在此,我感謝謝他們!因為有了他們的幫助,才有了我的進步!
總結(jié)
以上是生活随笔為你收集整理的PowerCenter基础心得的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 《Java设计模式》刘伟 超清晰版本 下
- 下一篇: Adb安装程序出现TimeOut错误