大數據簡介

大數據的概念

Volume(數據容量)、Variety(數據類型)、Viscosity(價值密度)、Velocity(速度)、Veracity(真實性)

大數據的性質

非結構性、不完備性、時效性、安全性、可靠性

大數據處理的全過程

數據采集與記錄 --> 數據抽取、清洗、標記 --> 數據集成、轉換、簡約 --> 數據分析與建模 --> 數據解釋

大數據技術的特征

1.分析全面的數據而非隨機抽樣

2.重視數據的復雜性，弱化精確性

3.關注數據的相關性，而非因果關系

大數據的關鍵技術

流處理、并行化、摘要索引、可視化

大數據應用趨勢

細分市場、推動企業發展、大數據分析的新方法出現、大數據與云計算高度融合、大數據一體化設備陸續出現、大數據安全

科學研究范式

第一范式(科學實驗)、第二范式(科學理論)、第三范式(系統模擬)、第四范式(數據密集型計算)

格雷法則

1.科學計算數據爆炸式增長

2.解決方案為橫向擴展的體系結構

3.將計算用于數據而不是數據用于計算(把程序向數據遷移。以計算為中心轉變為以數據為中心)

CAP理論

Consistency(一致性)、Availability(可用性)、Partition Tolerance(分區容錯性)

CAP定理

一個分布式系統不可能同時滿足一致性、可用性、分區容錯性三個系統需求，最多只能同時滿足兩個。

CAP選擇

1.放棄分區容錯，導致可擴展性不強：MySQL、Postgres

2.放棄可用性，導致性能不是特別高：Redis、MongoDB、MemcacheDB、HBase、BigTable、Hypertable

3.放棄一致性，對一致性要求低：Cassandra、Dynamo、Voldemort 、CouchDB

HDFS

HDFS目標

1.兼容廉價的硬件設備

2.流數據讀寫

3.大數據集

4.簡單的文件模型

5.強大的跨平臺兼容性

HDFS主要組件(圖來自哈爾濱理工大學大數據課程李老師的課件)

HDFS讀文件

---

HDFS寫文件

HDFS容錯

1.心跳檢測：NameNode和DataNode之間

2.文件塊完整性：記錄新建文件所有塊的校驗和

3.集群負載均衡：自動從負載重的DataNode上遷移數據

4.文件刪除：存放在/trash下，過一段時間才正式刪除。在hdfs-site.xml中配置

MapReduce

函數式編程優點

1.邏輯可證

2.模塊化

3.組件化

4.易于調試

5.易于測試

6.更高的生產率

函數式編程的特征

1.沒有副作用：沒有修改過函數在其作用域之外的量并被其他函數使用

2.無狀態的編程：將狀態保存在參數中，作為函數的附贈品來傳遞(不是很懂)

3.輸入值和輸出值：在函數式編程中，只有輸入值和輸出值。函數是基本的單位。在面向對象編程中，將對象傳來傳去；在函數式編程中，是將函數傳來傳去。

MapReduce流程圖(圖來自南京大學黃宜華老師的課件)

大數據流式計算

流式數據的特征

實時性、易失性、突發性、無序性、無限性、準確性

大數據流式計算模型

數據流管理系統：固定查詢、ad hoc查詢

大數據流式計算：Twitter Storm、Yahoo S4

Storm總體架構

主節點Nimbus：負責全局資源分配、任務調度、狀態監控、故障檢測

從節點Supervisor：接收任務，啟動或停止工作進程Worker。每個Worker內部有多個Executor。每個Executor對應一個線程。每個Executor對應一個或多個Task。

Zookeeper：協調、存儲元數據、從節點心跳信息、存儲整個集群的所有狀態信息、所有配置信息

Storm特征

1.編程簡單

2.支持多語言

3.作業級容錯

4.水平擴展

5.底層使用Zero消息隊列，快

Storm缺點

1.資源分配沒有考慮任務拓撲的結構特征，無法適應數據負載的動態變化

2.采用集中式的作業級容錯，限制了系統的可擴展性

搜索引擎

搜索引擎的定義

根據一定的策略、運用特定的計算機程序、從互聯網上搜集信息，對信息進行組織和處理之后，將這些信息展示給用戶的系統叫搜索引擎。

搜索引擎的組成

搜索器：搜集信息

索引器：抽取索引

檢索器：在庫中檢索，排序。

用戶接口：展示

搜索引擎的工作過程

爬行 -> 抓取存儲 -> 預處理 -> 排名

搜索引擎的評價指標

查全率、查準率、響應時間、覆蓋范圍、用戶方便性

大數據分析

數據分析的目的

對雜亂無章的數據進行集中、萃取、提煉，進而找出所研究對象的內在規律，發現其價值。

數據分析的意義

在雜亂的數據中分析出有價值的內容，獲得對數據的認知。

數據分析的類型

1.探索性數據分析(為了形成值得假設的檢驗)

2.定性數據分析(非數值型數據)

3.離線數據分析(先存于磁盤，批處理)

4.在線數據分析(實時)

---------------------------------------------------------
學如不及，猶恐失之

總結

以上是生活随笔為你收集整理的整理大数据期末考试复习提纲概念整理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。