大數(shù)據(jù)技術(shù)原理與應(yīng)用學(xué)習(xí)筆記（一）

• 寫在前面
• 大數(shù)據(jù)概述
• • 第三次信息化浪潮
  • 信息科技為大數(shù)據(jù)時代提供技術(shù)支撐
  • 數(shù)據(jù)產(chǎn)生方式的變革促成大數(shù)據(jù)時代的來臨
  • 大數(shù)據(jù)的發(fā)展歷程
• 大數(shù)據(jù)概念
• • “4V”說法
• 大數(shù)據(jù)的影響
• • 大數(shù)據(jù)對科學(xué)研究的影響
  • 大數(shù)據(jù)對思維方式的影響
• 大數(shù)據(jù)的應(yīng)用
• ※大數(shù)據(jù)的關(guān)鍵技術(shù)
• • 大數(shù)據(jù)的計(jì)算模式
• 云計(jì)算、大數(shù)據(jù)和互聯(lián)網(wǎng)
• • 云計(jì)算
  • • 云計(jì)算的概念
    • 云計(jì)算的關(guān)鍵技術(shù)
    • 云計(jì)算的分類
    • 三種云服務(wù)
    • 云計(jì)算的優(yōu)勢
  • 物聯(lián)網(wǎng)
  • • 物聯(lián)網(wǎng)的概念
    • 物聯(lián)網(wǎng)的層次結(jié)構(gòu)
    • 物聯(lián)網(wǎng)的關(guān)鍵技術(shù)
  • 大數(shù)據(jù)、云計(jì)算和物聯(lián)網(wǎng)的關(guān)系

寫在前面

臨近期末考試，決定系統(tǒng)的復(fù)習(xí)一下《大數(shù)據(jù)技術(shù)原理與應(yīng)用》這門課。文章中提到的基本都是我根據(jù)知識點(diǎn)篩選出來的，如果有缺少歡迎大家補(bǔ)充指正。文章主要參考教材《大數(shù)據(jù)技術(shù)原理與應(yīng)用（第3版）》和林子雨老師的大數(shù)據(jù)技術(shù)mooc課程。
課程相關(guān)課件可點(diǎn)擊此處下載

大數(shù)據(jù)概述

第三次信息化浪潮

三次信息化浪潮的時間

信息化浪潮發(fā)生時間標(biāo)志解決的問題代表企業(yè)

第一次信息化浪潮	1980年前后	個人計(jì)算機(jī)	信息處理	Intel、AMD、IBM、蘋果、微軟、聯(lián)想、戴爾、惠普等
第二次信息化浪潮	1995年前后	互聯(lián)網(wǎng)	信息傳輸	雅虎、谷歌、阿里巴巴、百度、騰訊等
第三次信息化浪潮	2010年前后	大數(shù)據(jù)、云計(jì)算和物聯(lián)網(wǎng)	信息爆炸	亞馬遜、谷歌、IBM、VMware、Palantir、Hortonworks、Cloudera、阿里云等

信息科技為大數(shù)據(jù)時代提供技術(shù)支撐

信息科技需要解決信息存儲、信息處理和信息傳輸3個核心問題。

?信息存儲：存儲設(shè)備容量不斷增加
?信息處理：CPU處理能力大幅提升
?信息傳輸：網(wǎng)絡(luò)帶寬不斷增加

數(shù)據(jù)產(chǎn)生方式的變革促成大數(shù)據(jù)時代的來臨

人類數(shù)據(jù)產(chǎn)生方式大致經(jīng)歷了3個階段

運(yùn)營式系統(tǒng)階段、用戶原創(chuàng)內(nèi)容階段、感知式系統(tǒng)階段

大數(shù)據(jù)的發(fā)展歷程

大體上可分為3個階段：

階段時間內(nèi)容

第一階段：萌芽期	20世紀(jì)90年代-21世紀(jì)初	一批商業(yè)智能工具和知識管理技術(shù)開始被應(yīng)用(數(shù)據(jù)倉庫、專家系統(tǒng)等)
第二階段：成熟期	21世紀(jì)前10年	形成了并行計(jì)算和分布式系統(tǒng)兩大核心技術(shù)，Hadoop平臺開始盛行
第三階段：大規(guī)模應(yīng)用期	2010年以后	大數(shù)據(jù)應(yīng)用滲透到各行各業(yè)，數(shù)據(jù)驅(qū)動決策，信息社會智能化程度大幅提高

大數(shù)據(jù)概念

“4V”說法

“4V”說法可以被認(rèn)為是大數(shù)據(jù)的4個特點(diǎn)：

?數(shù)據(jù)量大
?數(shù)據(jù)類型繁多
?處理速度快
?價值密度低

大數(shù)據(jù)的影響

大數(shù)據(jù)對科學(xué)研究的影響

人類歷史上的科學(xué)研究分別經(jīng)歷了4種范式：

?實(shí)驗(yàn)科學(xué)
?理論科學(xué)
?計(jì)算科學(xué)
?數(shù)據(jù)密集型科學(xué)

大數(shù)據(jù)對思維方式的影響

大數(shù)據(jù)時代最大的轉(zhuǎn)變就是思維方式的3種轉(zhuǎn)變：

?全樣而非抽樣
?效率而非精確
?相關(guān)而非因果

大數(shù)據(jù)的應(yīng)用

大數(shù)據(jù)無處不在，包括金融、汽車、零售、餐飲、電信、能源、政務(wù)、醫(yī)療、體育、娛樂等在內(nèi)的社會各行各業(yè)都已經(jīng)融入了大數(shù)據(jù)的印跡

※大數(shù)據(jù)的關(guān)鍵技術(shù)

?兩大核心技術(shù)：分布式存儲和分布式處理

大數(shù)據(jù)的計(jì)算模式

大數(shù)據(jù)計(jì)算模式解決問題代表產(chǎn)品

批處理計(jì)算	針對大規(guī)模數(shù)據(jù)的批量處理	MapReduce、Spark等
流計(jì)算	針對流數(shù)據(jù)的實(shí)時計(jì)算	Flink、Storm、S4、Flume、Streams、Puma、DStream、Super Mario、銀河流數(shù)據(jù)處理平臺等
圖計(jì)算	針對大規(guī)模圖結(jié)構(gòu)數(shù)據(jù)的處理	Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等
查詢分析計(jì)算	大規(guī)模數(shù)據(jù)的存儲管理和查詢分析	Dremel、Hive、Cassandra、Impala等

云計(jì)算、大數(shù)據(jù)和互聯(lián)網(wǎng)

云計(jì)算

云計(jì)算的概念

云計(jì)算是分布式計(jì)算的一種，指的是通過網(wǎng)絡(luò)“云”將巨大的數(shù)據(jù)計(jì)算處理程序分解成無數(shù)個小程序，然后，通過多部服務(wù)器組成的系統(tǒng)進(jìn)行處理和分析這些小程序得到結(jié)果并返回給用戶。
現(xiàn)階段所說的云服務(wù)已經(jīng)不單單是一種分布式計(jì)算，而是分布式計(jì)算、效用計(jì)算、負(fù)載均衡、并行計(jì)算、網(wǎng)絡(luò)存儲、熱備份冗雜和虛擬化等計(jì)算機(jī)技術(shù)混合演進(jìn)并躍升的結(jié)果。

云計(jì)算的關(guān)鍵技術(shù)

虛擬化、分布式存儲、分布式計(jì)算、多租戶等

云計(jì)算的分類

云計(jì)算包括公有云、私有云和混合云。

三種云服務(wù)

IaaS：（基礎(chǔ)設(shè)施即服務(wù)）面向網(wǎng)絡(luò)架構(gòu)師，為基礎(chǔ)設(shè)施層

PaaS：（平臺即服務(wù)）面向應(yīng)用開發(fā)者，為平臺層

SaaS：（軟件即服務(wù)）面向用戶，為應(yīng)用層

云計(jì)算的優(yōu)勢

對于社會而言，云計(jì)算的優(yōu)勢主要有：

云計(jì)算降低全社會的IT能耗，減少排放，真正做到”綠色計(jì)算“。

提高全社會的IT設(shè)備使用率，并降低電子產(chǎn)品的數(shù)量，從而減少因設(shè)備淘汰而產(chǎn)生的電子產(chǎn)品垃圾，對于保護(hù)環(huán)境大有裨益

物聯(lián)網(wǎng)

物聯(lián)網(wǎng)的概念

物聯(lián)網(wǎng)是指通過各種信息傳感器、射頻識別技術(shù)、全球定位系統(tǒng)、紅外感應(yīng)器、激光掃描器等各種裝置與技術(shù)，實(shí)時采集任何需要監(jiān)控、 連接、互動的物體或過程，采集其聲、光、熱、電、力學(xué)、化 學(xué)、生物、位置等各種需要的信息，通過各類可能的網(wǎng)絡(luò)接入，實(shí)現(xiàn)物與物、物與人的泛在連接，實(shí)現(xiàn)對物品和過程的智能化感知、識別和管理。物聯(lián)網(wǎng)是一個基于互聯(lián)網(wǎng)、傳統(tǒng)電信網(wǎng)等的信息承載體，它讓所有能夠被獨(dú)立尋址的普通物理對象形成互聯(lián)互通的網(wǎng)絡(luò)。

物聯(lián)網(wǎng)的層次結(jié)構(gòu)

物聯(lián)網(wǎng)大致分為4層：
應(yīng)用層、處理層、網(wǎng)絡(luò)層和感知層。

物聯(lián)網(wǎng)的關(guān)鍵技術(shù)

物聯(lián)網(wǎng)的關(guān)鍵技術(shù)：識別技術(shù)和感知技術(shù)。

大數(shù)據(jù)、云計(jì)算和物聯(lián)網(wǎng)的關(guān)系

總結(jié)

以上是生活随笔為你收集整理的大数据技术原理与应用学习笔记（一）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。