在此大概用口水話簡(jiǎn)單敘述一下他們幾個(gè)概念：

（1）DB/Database/數(shù)據(jù)庫(kù)——這里一般指的就是OLTP數(shù)據(jù)庫(kù)，在線事物數(shù)據(jù)庫(kù)，用來(lái)支持生產(chǎn)的，比如超市的買賣系統(tǒng)。DB保留的是數(shù)據(jù)信息的最新?tīng)顟B(tài)，只有一個(gè)狀態(tài)！比如，每天早上起床洗臉照鏡子，看到的就是當(dāng)時(shí)的狀態(tài)，至于之前的每天的狀態(tài)，不會(huì)出現(xiàn)的你的眼前，這個(gè)眼前就是db。

（2）DW/Data Warehouse/數(shù)據(jù)倉(cāng)庫(kù)——這里保存的是DB中的不同時(shí)間點(diǎn)的狀態(tài)，比如，每天早上洗完照鏡子時(shí)，都拍一張照片，天天這樣，這些照片放入到一個(gè)相冊(cè)中，之后就可以查看每一天的狀態(tài)了，這個(gè)相冊(cè)就是數(shù)據(jù)倉(cāng)庫(kù)，他保存的是數(shù)據(jù)在不同時(shí)間點(diǎn)的狀態(tài)，對(duì)同一個(gè)數(shù)據(jù)信息，保留不同時(shí)間點(diǎn)的狀態(tài)，就便于我們做統(tǒng)計(jì)分析了。

（3）ETL/Extraction-Transformation-Loading——用于完成DB到DW的數(shù)據(jù)轉(zhuǎn)存，它將DB中的某一個(gè)時(shí)間點(diǎn)的狀態(tài)，“抽取”出來(lái)，根據(jù)DW的存儲(chǔ)模型要求，“轉(zhuǎn)換”一下數(shù)據(jù)格式，然后再“加載”到DW的一個(gè)過(guò)程，這里需要強(qiáng)調(diào)的是，DB的模型是ER模型，遵從范式化設(shè)計(jì)原則，而DW的數(shù)據(jù)模型是雪花型結(jié)構(gòu)或者星型結(jié)構(gòu)，用的是面向主題，面向問(wèn)題的設(shè)計(jì)思路，所以DB和DW的模型結(jié)構(gòu)不同，需要進(jìn)行轉(zhuǎn)換。?
（4）OLAP——在線分析系統(tǒng)，簡(jiǎn)單說(shuō)就是報(bào)表系統(tǒng)，銷售報(bào)表，統(tǒng)計(jì)報(bào)表，等等，這個(gè)大家都熟悉，當(dāng)然，OLAP的統(tǒng)計(jì)要更復(fù)雜更豐富一些，比如切面，鉆取等等。?
（5）DM/Data Mining/數(shù)據(jù)挖掘——這個(gè)挖掘，不是簡(jiǎn)單的統(tǒng)計(jì)了，他是根據(jù)概率論的或者其他的統(tǒng)計(jì)學(xué)原理，將DW中的大數(shù)據(jù)量進(jìn)行分析，找出我們不能直觀發(fā)現(xiàn)的規(guī)律，比如，如果我們每天早上照相，量身材的時(shí)候，還記錄下頭一天吃的東西，黃瓜，豬腿，烤鴨，以及心情，如果記錄上10年，形成了3650天的相貌和飲食心情的數(shù)據(jù)，我們每個(gè)人都記錄，有20萬(wàn)人記錄了，那么，我們也許通過(guò)這些記錄，可以分析出，身材相貌和飲食的客觀規(guī)律；再說(shuō)一個(gè)典型的實(shí)例，就是英國(guó)的超市，在積累了大量數(shù)據(jù)之后，對(duì)數(shù)據(jù)分析挖掘之后，得到了一個(gè)規(guī)律：將小孩的尿布和啤酒放在一起，銷量會(huì)更好——業(yè)務(wù)專家在得到該結(jié)論之后，仔細(xì)分析，知道了原因，因?yàn)橛?guó)男人喜歡看足球的多，老婆把小孩介紹男人看管，小孩尿尿需要尿布，而男人看足球喜歡喝酒，所以兩樣商品有密切的關(guān)系，放在一起銷售會(huì)更好！

?

（6）BI/Business Intelligence/商業(yè)智能——領(lǐng)導(dǎo)，決策者，在獲取了OLAP的統(tǒng)計(jì)信息，和DM得到的科學(xué)規(guī)律之后，對(duì)生產(chǎn)進(jìn)行適當(dāng)?shù)恼{(diào)整，比如，命令超市人員將啤酒喝尿布放在一起銷售，這就反作用于DB修改存貨數(shù)據(jù)了——這就是整個(gè)BI的作用！

整體結(jié)構(gòu)

在具體分析數(shù)據(jù)倉(cāng)庫(kù)之前先看下一下數(shù)據(jù)中心的整體架構(gòu)以及數(shù)據(jù)流向

?

數(shù)據(jù)中心整體架構(gòu).png

• DB 是現(xiàn)有的數(shù)據(jù)來(lái)源，可以為mysql、SQLserver、文件日志等，為數(shù)據(jù)倉(cāng)庫(kù)提供數(shù)據(jù)來(lái)源的一般存在于現(xiàn)有的業(yè)務(wù)系統(tǒng)之中。
• ETL的是 Extract-Transform-Load 的縮寫(xiě)，用來(lái)描述將數(shù)據(jù)從來(lái)源遷移到目標(biāo)的幾個(gè)過(guò)程：
  • Extract，數(shù)據(jù)抽取，也就是把數(shù)據(jù)從數(shù)據(jù)源讀出來(lái)。
  • Transform，數(shù)據(jù)轉(zhuǎn)換，把原始數(shù)據(jù)轉(zhuǎn)換成期望的格式和維度。如果用在數(shù)據(jù)倉(cāng)庫(kù)的場(chǎng)景下，Transform也包含數(shù)據(jù)清洗，清洗掉噪音數(shù)據(jù)。
  • Load 數(shù)據(jù)加載，把處理后的數(shù)據(jù)加載到目標(biāo)處，比如數(shù)據(jù)倉(cāng)庫(kù)。
• ODS(Operational Data Store) 操作性數(shù)據(jù)，是作為數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù)的一種過(guò)渡，ODS的數(shù)據(jù)結(jié)構(gòu)一般與數(shù)據(jù)來(lái)源保持一致，便于減少ETL的工作復(fù)雜性，而且ODS的數(shù)據(jù)周期一般比較短。ODS的數(shù)據(jù)最終流入DW
  +DW (Data Warehouse)數(shù)據(jù)倉(cāng)庫(kù)，是數(shù)據(jù)的歸宿，這里保持這所有的從ODS到來(lái)的數(shù)據(jù)，并長(zhǎng)期報(bào)錯(cuò)，而且這些數(shù)據(jù)不會(huì)被修改。
• DM(Data Mart) 數(shù)據(jù)集市,為了特定的應(yīng)用目的或應(yīng)用范圍，而從數(shù)據(jù)倉(cāng)庫(kù)中獨(dú)立出來(lái)的一部分?jǐn)?shù)據(jù)，也可稱為部門數(shù)據(jù)或主題數(shù)據(jù)。面向應(yīng)用。

數(shù)據(jù)倉(cāng)庫(kù)

數(shù)據(jù)倉(cāng)庫(kù)(Data Warehouse) 簡(jiǎn)稱DW，顧名思義，數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)很大的數(shù)據(jù)存儲(chǔ)集合，出于企業(yè)的分析性報(bào)告和決策支持目的而創(chuàng)建，對(duì)多樣的業(yè)務(wù)數(shù)據(jù)進(jìn)行篩選與整合。它為企業(yè)提供一定的BI（商業(yè)智能）能力，指導(dǎo)業(yè)務(wù)流程改進(jìn)、監(jiān)視時(shí)間、成本、質(zhì)量以及控制。
數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)是一個(gè)面向主題（移動(dòng)的用戶分析也可做為一個(gè)主題）的，反映歷史變化數(shù)據(jù)，用于支撐管理決策。

特征：

• 效率足夠高，要對(duì)進(jìn)入的數(shù)據(jù)快速處理。
• 數(shù)據(jù)質(zhì)量高，數(shù)據(jù)倉(cāng)庫(kù)是提供很多決策需要的數(shù)據(jù)支撐，DW的數(shù)據(jù)應(yīng)該是唯一的具有權(quán)威性的數(shù)據(jù)，企業(yè)的所有系統(tǒng)只能從DW取數(shù)據(jù)，所以需要定期對(duì)DW里面的數(shù)據(jù)進(jìn)行質(zhì)量審，保證DW里邊數(shù)據(jù)的唯一、權(quán)威、準(zhǔn)確性。
• 擴(kuò)展性，企業(yè)業(yè)務(wù)擴(kuò)展和降低企業(yè)建設(shè)數(shù)據(jù)倉(cāng)庫(kù)的成本考慮
• 面向主題，數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是按照一定的主題域進(jìn)行組織的，每一個(gè)主題對(duì)應(yīng)一個(gè)宏觀的分析領(lǐng)域，數(shù)據(jù)倉(cāng)庫(kù)排除對(duì)決策無(wú)用的數(shù)據(jù)，提供特定主題的簡(jiǎn)明視圖。
• 數(shù)據(jù)倉(cāng)庫(kù)主要提供查詢服務(wù)，并且需要查詢能夠及時(shí)響應(yīng)
• DW的數(shù)據(jù)也是只允許增加不允許刪除和修改，數(shù)據(jù)倉(cāng)庫(kù)主要是提供查詢服務(wù)，刪除和修改在分布式系統(tǒng).

操作性數(shù)據(jù)

操作性數(shù)據(jù)(Operational Data Store) 簡(jiǎn)稱ODS，作為數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù)的一種過(guò)渡形式，與數(shù)據(jù)倉(cāng)庫(kù)在物理結(jié)構(gòu)上不同。ODS存儲(chǔ)的是當(dāng)前的數(shù)據(jù)情況，給使用者提供當(dāng)前的狀態(tài)，提供即時(shí)性的、操作性的、集成的全體信息的需求。ODS作為數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù)的一種過(guò)渡形式，能提供高性能的響應(yīng)時(shí)間，ODS設(shè)計(jì)采用混合設(shè)計(jì)方式。ODS中的數(shù)據(jù)是"實(shí)時(shí)值"，而數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)卻是"歷史值"，一般ODS中儲(chǔ)存的數(shù)據(jù)不超過(guò)一個(gè)月，而數(shù)據(jù)倉(cāng)庫(kù)為10年或更多。

特征：

• ODS直接存放從業(yè)務(wù)抽取過(guò)來(lái)的數(shù)據(jù)，這些數(shù)據(jù)從結(jié)構(gòu)和數(shù)據(jù)上與業(yè)務(wù)系統(tǒng)保持一致，降低了數(shù)據(jù)抽取的復(fù)雜性。
• 轉(zhuǎn)移一部分業(yè)務(wù)系統(tǒng)的細(xì)節(jié)查詢功能，因?yàn)镺DS存放的數(shù)據(jù)與業(yè)務(wù)系統(tǒng)相同，原來(lái)有業(yè)務(wù)系統(tǒng)產(chǎn)生的報(bào)表，現(xiàn)在可以從ODS中產(chǎn)生。
• 完成數(shù)據(jù)倉(cāng)庫(kù)中不能完成的功能，ODS存放的是明細(xì)數(shù)據(jù)，數(shù)據(jù)倉(cāng)庫(kù)DW或數(shù)據(jù)集市DM都存放的是匯聚數(shù)據(jù)，ODS提供查詢明細(xì)的功能。
• ODS數(shù)據(jù)只能增加不能修改，而且數(shù)據(jù)都是業(yè)務(wù)系統(tǒng)原樣拷貝，所以可能存在數(shù)據(jù)沖突的可能，解決辦法是為每一條數(shù)據(jù)增加一個(gè)時(shí)間版本來(lái)區(qū)分相同的數(shù)據(jù)。

數(shù)據(jù)集市

數(shù)據(jù)集市(Data Mart)簡(jiǎn)稱DM，是為了特定的應(yīng)用目的或應(yīng)用范圍，而從數(shù)據(jù)倉(cāng)庫(kù)中獨(dú)立出來(lái)的一部分?jǐn)?shù)據(jù)，也可稱為部門數(shù)據(jù)或主題數(shù)據(jù)（subjectarea）。在數(shù)據(jù)倉(cāng)庫(kù)的實(shí)施過(guò)程中往往可以從一個(gè)部門的數(shù)據(jù)集市著手，以后再用幾個(gè)數(shù)據(jù)集市組成一個(gè)完整的數(shù)據(jù)倉(cāng)庫(kù)。需要注意的就是在實(shí)施不同的數(shù)據(jù)集市時(shí)，同一含義的字段定義一定要相容，這樣再以后實(shí)施數(shù)據(jù)倉(cāng)庫(kù)時(shí)才不會(huì)造成大麻煩。
數(shù)據(jù)集市，以某個(gè)業(yè)務(wù)應(yīng)用為出發(fā)點(diǎn)而建設(shè)的局部DW,DW只關(guān)心自己需要的數(shù)據(jù)，不會(huì)全盤(pán)考慮企業(yè)整體的數(shù)據(jù)架構(gòu)和應(yīng)用，每個(gè)應(yīng)用有自己的DM

特征：

• DM結(jié)構(gòu)清洗，針對(duì)性強(qiáng)，擴(kuò)展性好，因?yàn)镈M僅僅是單對(duì)一個(gè)領(lǐng)域而建立，容易維護(hù)修改
• DM建設(shè)任務(wù)繁重，公司有眾多業(yè)務(wù)，每個(gè)業(yè)務(wù)單獨(dú)建立表。
• DM的建立更多的消耗存儲(chǔ)空間，單獨(dú)一個(gè)DM可能數(shù)據(jù)量不大，但是企業(yè)所有領(lǐng)域都建立DM這個(gè)數(shù)據(jù)量就會(huì)增加多倍。

?

?

?

?

?

?

?

Power BI是微軟最新的商業(yè)智能（BI）概念，它包含了一系列的組件和工具。話不多說(shuō)，先上圖：

總結(jié)

以上是生活随笔為你收集整理的DB、ETL、DW、OLAP、DM、BI关系结构图的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。