1.1 大數(shù)據(jù)時代
1.1.1 第三次信息化浪潮
1.1.2 信息科技為大數(shù)據(jù)時代提供技術(shù)支撐
1）存儲設備容量不斷增加
2）CPU處理能力大幅提升
3）網(wǎng)絡帶寬不斷增加
1.1.3 數(shù)據(jù)產(chǎn)生方式的變革促成大數(shù)據(jù)時代的來臨
運營式系統(tǒng)階段——>用戶原創(chuàng)內(nèi)容階段——>感知式系統(tǒng)階段
1.1.4 大數(shù)據(jù)的發(fā)展歷程
萌芽期 上世紀90年代至本世紀初 商業(yè)智能工具和知識管理技術(shù)開始被應用
成熟期 本世紀前十年 Web2.0應用迅猛發(fā)展，非結(jié)構(gòu)化數(shù)據(jù)大量產(chǎn)生，形成并行計算和分布式系統(tǒng)兩大核心技術(shù)
大規(guī)模應用期 2010年后 大數(shù)據(jù)應用滲透各行各業(yè)，數(shù)據(jù)驅(qū)動決策，信息社會智能化程度大幅提高
1.2 大數(shù)據(jù)概念
大數(shù)據(jù)不僅僅是數(shù)據(jù)的大量化，而是包含快速化、多樣化和價值化等多重屬性。
1.2.1 數(shù)據(jù)量大
1.2.2 數(shù)據(jù)類型繁多
大數(shù)據(jù)由結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)組成的，10％的結(jié)構(gòu)化數(shù)據(jù)，存儲在數(shù)據(jù)庫中，90％的非結(jié)構(gòu)化數(shù)據(jù)，他們與人類的信息密切相關(guān)
1.2.3 處理速度快
1.2.4 價值密度低
但商業(yè)價值高
1.3 大數(shù)據(jù)的影響
全樣而非抽樣
效率而非精確
相關(guān)而非因果（例網(wǎng)上購物推薦相關(guān)產(chǎn)品）
1.4 大數(shù)據(jù)的應用
金融、汽車、零售、餐飲、電信、能源、政務、醫(yī)療、體育、娛樂等在內(nèi)的社會各行各業(yè)都已經(jīng)融入了大數(shù)據(jù)的印跡。
實例：美劇《紙牌屋》、“谷歌流感趨勢”，通過跟蹤搜索關(guān)鍵詞相關(guān)數(shù)據(jù)來判斷全美地區(qū)的流感情況
1.5 大數(shù)據(jù)關(guān)鍵技術(shù)

技術(shù)層面功能

數(shù)據(jù)采集	利用ETL工具將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù) 據(jù)文件等，抽取到臨時中間層后進行清洗、轉(zhuǎn)換、集成，最后加載 到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機分析處理、數(shù)據(jù)挖掘的基礎； 或者也可以把實時采集的數(shù)據(jù)作為流計算系統(tǒng)的輸入，進行實時處 理分析
數(shù)據(jù)存儲和管理	利用分布式文件系統(tǒng)、數(shù)據(jù)倉庫、關(guān)系數(shù)據(jù)庫、NoSQL數(shù)據(jù)庫、云 數(shù)據(jù)庫等，實現(xiàn)對結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化海量數(shù)據(jù)的存儲和 管理
數(shù)據(jù)處理與分析	利用分布式并行編程模型和計算框架，結(jié)合機器學習和數(shù)據(jù)挖掘算 法，實現(xiàn)對海量數(shù)據(jù)的處理和分析；對分析結(jié)果進行可視化呈現(xiàn)， 幫助人們更好地理解數(shù)據(jù)、分析數(shù)據(jù)
數(shù)據(jù)隱私和安全	在從大數(shù)據(jù)中挖掘潛在的巨大商業(yè)價值和學術(shù)價值的同時，構(gòu)建隱 私數(shù)據(jù)保護體系和數(shù)據(jù)安全體系，有效保護個人隱私和數(shù)據(jù)安全

兩大核心技術(shù)分布式存儲 分布式處理

1.6 大數(shù)據(jù)計算模式

大數(shù)據(jù)計算模式解決問題

批處理計算	針對大規(guī)模數(shù)據(jù)的批量 處理
流計算	針對數(shù)據(jù)流的實時計算
圖計算	針對大規(guī)模圖結(jié)構(gòu)數(shù)據(jù)的處理
查詢分析計算	大規(guī)模數(shù)據(jù)的存儲管理和查詢分析

1.7 大數(shù)據(jù)產(chǎn)業(yè)
大數(shù)據(jù)產(chǎn)業(yè)是指一切與支撐大數(shù)據(jù)組織管理和價值發(fā)現(xiàn)的相關(guān)企業(yè)經(jīng)濟活動的集合

產(chǎn)業(yè)鏈環(huán)節(jié)包含內(nèi)容

IT基礎設施層	包括提供硬件、軟件、網(wǎng)絡等基礎設施以及提供咨詢、規(guī)劃和系統(tǒng)集成服務的企業(yè)，比如 ，提供數(shù)據(jù)中心解決方案的IBM、惠普和戴爾等，提供存儲解決方案的EMC，提供虛擬化 管理軟件的微軟、思杰、SUN、Redhat等
數(shù)據(jù)源層	大數(shù)據(jù)生態(tài)圈里的數(shù)據(jù)提供者，是生物大數(shù)據(jù)（生物信息學領(lǐng)域的各類研究機構(gòu)）、交通 大數(shù)據(jù)（交通主管部門）、醫(yī)療大數(shù)據(jù)（各大醫(yī)院、體檢機構(gòu)）、政務大數(shù)據(jù)（政府部門 ）、電商大數(shù)據(jù)（淘寶、天貓、蘇寧云商、京東等電商）、社交網(wǎng)絡大數(shù)據(jù)（微博、微信 、人人網(wǎng)等）、搜索引擎大數(shù)據(jù)（百度、谷歌等）等各種數(shù)據(jù)的來源
數(shù)據(jù)管理層	包括數(shù)據(jù)抽取、轉(zhuǎn)換、存儲和管理等服務的各類企業(yè)或產(chǎn)品，比如分布式文件系統(tǒng)（如 Hadoop的HDFS和谷歌的GFS）、ETL工具（Informatica、Datastage、Kettle等）、數(shù)據(jù)庫和 數(shù)據(jù)倉庫（Oracle、MySQL、SQL Server、HBase、GreenPlum等）
數(shù)據(jù)分析層	包括提供分布式計算、數(shù)據(jù)挖掘、統(tǒng)計分析等服務的各類企業(yè)或產(chǎn)品，比如，分布式計算 框架MapReduce、統(tǒng)計分析軟件SPSS和SAS、數(shù)據(jù)挖掘工具Weka、數(shù)據(jù)可視化工具Tableau 、BI工具（MicroStrategy、Cognos、BO）等等
數(shù)據(jù)平臺層	包括提供數(shù)據(jù)分享平臺、數(shù)據(jù)分析平臺、數(shù)據(jù)租售平臺等服務的企業(yè)或產(chǎn)品，比如阿里巴 巴、谷歌、中國電信、百度等
數(shù)據(jù)應用層	提供智能交通、智慧醫(yī)療、智能物流、智能電網(wǎng)等行業(yè)應用的企業(yè)、機構(gòu)或政府部門，比 如交通主管部門、各大醫(yī)療機構(gòu)、菜鳥網(wǎng)絡、國家電網(wǎng)等

1.8 大數(shù)據(jù)與云計算、物聯(lián)網(wǎng)的關(guān)系
1.8.1 云計算
1、云計算概念：云計算實現(xiàn)了通過網(wǎng)絡提供可伸縮的、廉價的分布式計算能力，用戶只需要在具 備網(wǎng)絡接入條件的地方，就可以隨時隨地獲得所需的各種IT資源
2、應用層：軟件即服務（SaaS）
平臺層：平臺即服務（PaaS）
基礎設施層：基礎設施即服務（IaaS）
SaaS:從一個集中的系統(tǒng)部署軟件，使之在一 臺本地計算機上(或從云中遠程地)運行 的一個模型。由于是計量服務，SaaS 允許出租一個應用程序，并計時收費
PaaS：類似于 IaaS，但是它包括操作系統(tǒng)和 圍繞特定應用的必需的服務
IaaS：將基礎設施(計算資源和存儲)作為服務 出租
3、云計算關(guān)鍵技術(shù)
包括：虛擬化、分布式存儲、分布式計算、多租戶等
4、云計算數(shù)據(jù)中心
云計算數(shù)據(jù)中心是一整套復雜的設施，包括刀片服務器、寬帶網(wǎng)絡連接、環(huán)境控 制設備、監(jiān)控設備以及各種安全裝置等；數(shù)據(jù)中心是云計算的重要載體，為云計算提供計算、存儲、帶寬等各種硬件資源 ，為各種平臺和應用提供運行支撐環(huán)境；全國各地推進數(shù)據(jù)中心建設
1.8.2 物聯(lián)網(wǎng)
物聯(lián)網(wǎng)是物物相連的互聯(lián)網(wǎng)，是互聯(lián)網(wǎng)的延伸，它利用局部網(wǎng)絡或互聯(lián)網(wǎng)等通信 技術(shù)把傳感器、控制器、機器、人員和物等通過新的方式聯(lián)在一起，形成人與物 、物與物相聯(lián)，實現(xiàn)信息化和遠程管理控制
1、物聯(lián)網(wǎng)體系架構(gòu)
2、物聯(lián)網(wǎng)關(guān)鍵技術(shù)
物聯(lián)網(wǎng)中的關(guān)鍵技術(shù)包括識別和感知技術(shù)（二維碼、RFID、傳感器等）、網(wǎng)絡與 通信技術(shù)、數(shù)據(jù)挖掘與融合技術(shù)等
3、物聯(lián)網(wǎng)產(chǎn)業(yè)
完整的物聯(lián)網(wǎng)產(chǎn)業(yè)鏈主要包括核心感應器件提供商、感知層末端設備提供商、網(wǎng) 絡提供商、軟件與行業(yè)解決方案提供商、系統(tǒng)集成商、運營及服務提供商等六大環(huán)節(jié)
1.8.3 大數(shù)據(jù)與云計算、物聯(lián)網(wǎng)的關(guān)系
云計算、大數(shù)據(jù)和物聯(lián)網(wǎng)代表了IT領(lǐng)域最新的技術(shù)發(fā)展趨勢，三者既有區(qū)別又有聯(lián)系
云計算為大數(shù)據(jù)提供了技術(shù)基礎
大數(shù)據(jù)為云計算提供用武之地
物聯(lián)網(wǎng)是大數(shù)據(jù)的重要來源
大數(shù)據(jù)技術(shù)為物聯(lián)網(wǎng)數(shù)據(jù)分析提供支撐
云計算為物聯(lián)網(wǎng)提供海量數(shù)據(jù)存儲能力
物聯(lián)網(wǎng)為云計算技術(shù)提供了廣闊的應用空間

小結(jié)
本章介紹了大數(shù)據(jù)技術(shù)的發(fā)展歷程，并指出信息科技的不斷進步為大數(shù)據(jù)時代提供 了技術(shù)支撐，數(shù)據(jù)產(chǎn)生方式的變革促成了大數(shù)據(jù)時代的來臨
? 大數(shù)據(jù)具有數(shù)據(jù)量大、數(shù)據(jù)類型繁多、處理速度快、價值密度低等特點，統(tǒng)稱 “4V”。大數(shù)據(jù)對科學研究、思維方式、社會發(fā)展、就業(yè)市場和人才培養(yǎng)等方面， 都產(chǎn)生了重要的影響，深刻理解大數(shù)據(jù)的這些影響，有助于我們更好把握學習和應 用大數(shù)據(jù)的方向
? 大數(shù)據(jù)在金融、汽車、零售、餐飲、電信、能源、政務、醫(yī)療、體育、娛樂等在內(nèi) 的社會各行各業(yè)都得到了日益廣泛的應用，深刻地改變著我們的社會生產(chǎn)和日常生活
? 大數(shù)據(jù)并非單一的數(shù)據(jù)或技術(shù)，而是數(shù)據(jù)和大數(shù)據(jù)技術(shù)的綜合體。大數(shù)據(jù)技術(shù)主要 包括數(shù)據(jù)采集、數(shù)據(jù)存儲和管理、數(shù)據(jù)處理與分析、數(shù)據(jù)安全和隱私保護等幾個層 面的內(nèi)容
? 大數(shù)據(jù)產(chǎn)業(yè)包括IT基礎設施層、數(shù)據(jù)源層、數(shù)據(jù)管理層、數(shù)據(jù)分析層、數(shù)據(jù)平臺層 和數(shù)據(jù)應用層，在不同層面，都已經(jīng)形成了一批引領(lǐng)市場的技術(shù)和企業(yè)
? 本章最后介紹了云計算和物聯(lián)網(wǎng)的概念和關(guān)鍵技術(shù)，并闡述了大數(shù)據(jù)、云計算和物 聯(lián)網(wǎng)三者之間的區(qū)別與聯(lián)系

總結(jié)

以上是生活随笔為你收集整理的《大数据技术原理与应用》—— 提纲的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。