目錄

1.1大數據時代

1.2大數據的概念和影響

1.3大數據的應用

1.4大數據的關鍵技術

分布式存儲

分布式并行處理技術

1.5大數據與云計算、物聯網的關系

1.5.1云計算

云計算數據中心

1.5.2物聯網（The Internet of Things）

物聯網的關鍵技術

大數據，云計算與物聯網的關系圖

---

1.1大數據時代

技術支撐：存儲，計算，網絡。

數據產生方式的變革：

第一階段 運營式系統階段——>第二階段 用戶原創內容階段——>第三階段 感知式系統階段（物聯網的興起與普及）。

1.2大數據的概念和影響

4V特性：variety：快速化；volume：大量化；velocity：多樣化；value：價值密度低。

大數據摩爾定律：數據量每兩年增長一倍。

解決科學問題的四種范式：實驗，理論，計算，數據。

思維方式的顛覆：

全樣而非抽樣，效率而非精確（不存在抽樣的誤差放大），相關而非因果

1.3大數據的應用

業務流程優化，身體健康監控，智能醫療研發，交通情況實時監控，金融交易......

1.4大數據的關鍵技術

大數據技術的層次：

數據采集，數據存儲與管理，數據處理與分析，數據隱私與安全

兩大核心技術：

分布式存儲

分布式數據庫BigTable，分布式文件系統GFS

分布式并行處理技術

大數據計算模式：

批處理，針對大規模數據的批量處理：MapReduce，Spark

流計算，針對流數據的實時計算：S4，Storm，Flume

圖計算，針對大規模圖結構數據的處理：Google Pregel，GraphX

查詢分析計算，針對大規模數據的存儲管理與查詢分析：Hive，Cassandra，Impala

1.5大數據與云計算、物聯網的關系

1.5.1云計算

云計算：通過網絡以服務的方式為用戶提供非常廉價的IT資源。解決了大數據分布式存儲與分布式處理問題，典型特征：虛擬化，多租戶。

公有云，私有云，混合云

應用層（軟件即服務SaaS）——面向用戶

平臺層（平臺即服務PaaS）——面向應用開發者

基礎設施層（基礎設施即服務IaaS）——面向網絡架構師

云計算數據中心

刀片服務器

地理位置要求：地質結構穩定，溫度低

1.5.2物聯網（The Internet of Things）

物物相連的互聯網，是互聯網的延伸

物聯網層次架構

應用層：智能電網，智慧醫療，智能家居

處理層：業務支撐平臺（中間件平臺），服務支撐平臺，信息處理平臺

網絡層：互聯網，電網，專用網

感知層：傳感器，二維碼，攝像頭

例：掌上公交

物聯網的關鍵技術

識別技術，感知技術

例：二維碼，RFID（公交卡）

大數據，云計算與物聯網的關系圖

總結

以上是生活随笔為你收集整理的大数据技术原理与应用（第一章，大数据概述）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。