一.大數據概述

(一)大數據概念

1.技術支撐：存儲、計算、網絡。
2.數據產生方式

• 第一階段：運營式系統階段
• 第二階段：用戶原創內容階段
• 第三階段：感知式系統階段(物聯網的實現普及)

3.大數據的特性(4V)

• 快速化(variety)
  處理速度非?？?秒級決策)。
• 大量化(volume)
  大數據摩爾定律：每兩年數據增長一倍。
  大數據是由結構化和非結構化(占比大)數據組成。
• 多樣化(velocity)
• 價值密度低(value)
  價值密度低，商業價值高。

5.影響

1)幾種科學研究范式：

• 實驗范式
• 理論范式
• 計算范式
• 數據范式：大數據帶來了第四種科學研究范式，以數據為驅動去發現問題。

2)影響

• 全樣而非抽樣。傳統思維上，數據太多，無法保存和分析，統計學采用抽樣。
• 效率而非精確。追求高效率，全樣不會放大誤差，數據時效性高。
• 相關而非因果。

(三)關鍵技術

• 數據采集
• 數據存儲于管理
• 數據處理與分析
• 數據隱私與安全

1.兩大關鍵技術

• 分布式存儲
• 分布式處理

2.典型計算模式

• 批處理,MapReduce和Spark就是典型的批處理計算模式的典型代表，不能滿足時效性要求。Spark時效性比MapReduce要好，Spark可以高效的做迭代計算。
• 流計算,需要實時處理，實時響應。
• 圖計算
• 查詢分析計算，如Hive，實時性高。
  

(五)大數據與云數據、物聯網的關系

1.云計算：通過網絡以服務的方式為用戶提供非常廉價的IT資源。

1)解決兩大核心問題。

• 分布式存儲
• 分布式處理

2)典型特征：虛擬化、多租戶。
3)云計算的三種模式

• 共有云
• 私有云
• 混合云

4）三種云服務

• SaaS:軟件即服務，提供云軟件服務，面向用戶。
• PaaS：平臺即服務，面向應用開發者。
• IaaS：即基礎設施即服務，將基礎設施(計算資源和存儲)作為服務出租。面向網絡架構師。

2.物聯網

物聯網(IoT)：萬物相連的互聯網，是互聯網的延伸。
1)層次架構：

• 應用層
• 處理層
• 網絡層
• 感知層

2)關鍵技術

• 識別和感知技術

3.關系：大數據繼承自云計算，大數據的飛速發展，使得云計算中的分布式存儲和分布式處理有了用武之地，大數據技術為物聯網數據分析提供了支撐。

4.云計算、大數據和物聯網推動了第三次信息化浪潮。

總結

以上是生活随笔為你收集整理的大数据技术原理与应用-概述的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。