数据仓库与数据挖掘的个人总结
來公司的第一天收到要熟悉數據倉庫與數據挖掘的任務,任務內容如下:
?????? ? 1.閱讀有關數據倉庫、數據挖掘、OLAP在線聯機分析的相關文檔,掌握和了解相關基礎知識和概念
?????? ? 2.了解常見的數據倉庫及OLAP解決數據決策分析有效性的解決方案,以及主要的實施過程
?????? ? 3.重點了解微軟的解決方案
?????? ? 4.在電腦上安裝微軟sqlserver2008及visual studio2008及相關環境,簡單熟悉和掌握開發過程
?????? ? 5.了解數據倉庫的設計原則和方法,并嘗試用你之前做過的一個系統(建議20個業務表的小系統比較合適),在上述環境進行數據倉庫設計
?????? ? 6.在5的結果下,進行ETL過程設計,并執行ETL過程
?????? ? 7.在5的結果下,進行維度、測度、KPI的相關設計,生成數據立方體
?????? ? 8.在7的結果下,進行報表、交叉表、儀表盤、頁面的設計
?????? ? 9.了解熟悉mdx語法和dmx語法
???????? 整理與解答:
??????? 問題1:
???????? 1.DW(Data Warehouse):數據倉庫
?????????? ①什么是數據倉庫?what?
?????????????? 數據倉庫是一個面向主題的(用于為特定主題的功能提供信息)、集成的(可從多個數據庫系統中集成信息)、相對穩定的()、反應歷史變化的(按周期更新數據)數據集合,用于支持管理決策。它有一下兩個特點:1>首先數據倉庫是用于支持決策的,幫助人對數據進行分析處理,這一點它有別于操作型數據庫。2>數據倉庫是多個異構數據源的有效集成,集成夠按照主題進行重組,為了方便分析,它包含歷史數據,而且存放在數據倉庫中的數據一般不再修改。(企業數據倉庫的建設是以現有企業業務系統和大量業務數據的積累為基礎。數據倉庫不是靜態的概念,只有把信息及時交給需要這些信息的使用者,供他們作出改善其業務經營的決策,信息才能發揮作用,信息才有意義。而把信息加以整理、歸納和重組,并及時提供給相應的管理決策人員是數據倉庫的根本任務。)
?????????? ②為什么要建立數據倉庫?why?
????????????? 因為傳統的事物型數據庫不能滿足信息分析的需求,這原于它們之間處理性能的不同:
??????????? 1>因為事務型數據庫中的數據是動態變化的,在分析一些數據信息時,我們希望事務型數據庫是空閑的,然而它卻表示數據操作頻繁,根本停不下來,所以系統處理新數據的有效性被大打折扣。(事務型數據總是在動態的變化之中的。決策支持型處理需要相對穩定的數據,從而問題都能得到一致連續的解答。)
??????????? 2>而數據倉庫支持決策型數據處理解決了這一問題。具體處理方式在之后的問題中解答。
??????? 2.DM(Data Mining):數據挖掘
????????? ①什么是數據挖掘?what?
??????????? 數據挖掘是從大量的、不完全的、有噪聲的、模糊的、隨機的實際應用數據中,提取隱含在其中的、人們事先不知道的、但又潛在有用的信息和知識的過程。
????????? ②如何進行數據挖掘?how?
??????????? 略。
?????? 問題2:
???????? 1.數據倉庫解決辦法:
??????????? 將決策支持型數據處理從事務型數據處理中分離出來,數據按照一定的周期(通常為每晚或每周末)從事務型數據庫導入決策支持型數據庫——數據倉庫。數據倉庫是按回答企業某方面問題來分“主題”組織數據的,這是最有效的數據組織方式。
???????? 2.OLAP(On Line Analytical Processing):聯機分析處理? 解決方法:
??????????? 多維數據貯存:將關系型的或普通的數據進行多維數據存貯,以便于進行分析,從而達到聯機分析處理的目的。這種多維DB也被看作一個超立方體,沿著各個維方向存貯數據,它允許用戶沿事物的軸線方便地分析數據,與主流業務型用戶相關的分析形式一般有切片和切塊以及下鉆、挖掘等操作。
?????? 問題3:
???????? 為查閱到相關資料。
?????? 問題4:
???????? sqlserver2008及visual studio2008已成功安裝,并熟悉了基本的功能操作。
?????? 問題5:
???????? 數據倉庫設計的原則:http://wenku.baidu.com/link?url=Yv0bvHgbUncUXfHnphC8B5_0GSrwK7tnrkP92MbAJPap_bqwX-p2_6X9W9NXfdYIXBN9Nw06YvKlGdAMQ5DZ0_hf2uvLANu716KOSk_WwRK
???????? 數據倉庫設計的方法:http://tech.it168.com/d/2008-01-04/200801041342948.shtml
???????? 數據倉庫設計嘗試中:.......
?????? 問題6:
???????? ETL過程設計:http://wenku.baidu.com/link?url=g9y-IhyflyfT1OR-8uOThSbIAcWBDKfqMRX2tvxhQCiiFVTszAggsmQS92QiytS0mnSGnS8YxK5IfHnPk9N22DVTuyTsSHGsETYJLldJ6bG
???????? 數據倉庫ETL過程嘗試中:......
總結
以上是生活随笔為你收集整理的数据仓库与数据挖掘的个人总结的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 花一天时间做一个高质量飞机大战游戏,过万
- 下一篇: 《软件工程导论》知识点期末复习整理