1大数据概述
1.1大數據時代
1.1.1第三次信息化浪潮
第三次信息化浪潮 ?2010年前后 ? 大數據+云計算+物聯網 ? ?信息爆炸
第二次信息化浪潮 ?1995年前后 ? 互聯網 ? ? ? ? 信息傳輸
第一次信息化浪潮 ?1980年前后 ? 個人計算機 ? 信息處理
1.1.2信息科技為大數據時代提供技術支撐
1.存儲設備容量不斷增加 ? ?1PB=1024TB 存儲到一張DVD
2.CPU處理能力大幅提升
3.網絡帶寬不斷增加
1.1.3數據產生方式的變革促成大數據時代的來臨
1.運營式系統階段
2.用戶原創內容階段
3.感知式系統階段
1.1.4大數據的發展歷程
| 階段 | 時間 | 內容 |
| 第一階段：萌芽期 | 上世紀90年代至本世紀初 | 隨著數據挖掘理論和數據庫技術的逐步成熟，一批商業智能工具和知識管理技術開始被應用，如數據倉庫、專家系統、知識管理系統等。 |
| 第二階段：成熟期 | 本世紀前十年 | Web2.0應用迅猛發展，非結構化數據大量產生，傳統處理方法難以應對，帶動了大數據技術的快速突破，大數據解決方案逐漸走向成熟，形成了并行計算與分布式系統兩大核心技術，谷歌的GFS和MapReduce等大數據技術受到追捧，Hadoop平臺開始大行其道。 |
| 第三階段：大規模應用期 | 2010年以后 | 大數據應用滲透各行各業，數據驅動決策，信息社會智能化程度大幅提高。 |
?
1.2大數據概念
大量化Volume、快速化Velocity、多樣化Variety、價值化Value ?"4V"
1.2.1數據量大
大數據摩爾定律 ?IDC
1.2.2數據類型繁多
大數據是由結構化和非結構化數據組成的
1.2.3處理速度快
1秒定律
1.2.4價值密度低
價值密度低，商業價值高
1.3大數據的影響
圖靈獎獲得者、著名數據庫專家Jim Gray博士觀察并總結人類自古以來，在科學研究上，先后歷經了實驗、理論、計算和數據四種范式
在思維方式方面，大數據完全顛覆了傳統的思維方式：全樣而非抽樣、效率而非精確、相關而非因果
在社會發展方面，大數據決策逐漸成為一種新的決策方式，大數據應用有力促進了信息技術與各行業的深度融合，大數據開發大大推動了新技術和新應用的不斷涌現
在就業市場方面，大數據的興起使得數據科學家成為熱門職業
在人才培養方面，大數據的興起，將在很大程度上改變中國高校信息技術相關專業的現有教學和科研體制
1.4大數據的應用
典型的大數據應用實例
1.大數據分析--拍攝--美劇《紙牌屋》
2.“谷歌流感趨勢”，通過跟蹤搜索詞相關數據來判斷全美地區的流感情況
1.5大數據關鍵技術
兩大核心技術
分布式存儲--GFS/HDFS、BigTable/HBase、NoSQL（鍵值、列族、圖形、文檔數據庫）、NewSQL（如：SQL Azure）
分布式處理--MapReduce
1.6大數據計算模式
| 大數據計算模式 | 解決問題 | 代表產品 |
| 批處理計算 | 針對大規模數據的批量處理 | MapReduce、Spark等 |
| 流計算 | 針對流數據的實時計算 | Storm、S4、Flume、Streams、Puma、DStream、Super Mario、銀河流數據處理平臺等 |
| 圖計算 | 針對大規模圖結構數據的處理 | Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等 |
| 查詢分析計算 | 大規模數據的存儲管理和查詢分析 | Dremel、Hive、Cassandra、Impala等 |
1.7大數據產業
大數據產業是指一切與支撐大數據組織管理和價值發現相關的企業經濟活動的集合。
IT基礎設施層、數據源層、數據管理層、數據分析層、數據平臺層、數據應用層
1.8大數據與云計算、物聯網的關系
云計算、大數據和物聯網代表了IT領域最新的技術發展趨勢，三者相輔相成，既有聯系又有區別。
1.8.1云計算
1.云計算概念
云計算實現了通過網絡提供可伸縮的、廉價的分布式計算能力，用戶只需要在具備網絡接入條件的地方，就可以隨時隨地獲得所需的各種IT資源。
公有云、私有云、混合云
基礎設施即服務（IaaS）、平臺即服務（PaaS）、軟件即服務（SaaS）
2.云計算關鍵技術
云計算關鍵技術包括：虛擬化、分布式存儲、分布式計算、多租戶等
3.云計算數據中心
云計算數據中心是一整套復雜的設施，包括刀片服務器、寬帶網絡連接、環境控制設備、監控設備以及各種安全裝置等
數據中心是云計算的重要載體，為云計算提供計算、存儲、帶寬等各種硬件資源，為各種平臺和應用提供運行支撐環境
全國各地推進數據中心建設
4.云計算應用
政務云上可以部署公共安全管理、容災備份、城市管理、應急管理、智能交通、社會保障等應用，通過集約化建設、管理和運行，可以實現信息資源整合和政務資源共享，推動政務管理創新，加快向服務型政府轉型。
教育云可以有效整合幼兒教育、中小學教育、高等教育以及繼續教育等優質資源，逐步實現教育信息共享、教育資源共享及教育資源深度挖掘等目標。
中小企業云能夠讓企業以低廉的成本建立財務、供應鏈、客戶關系等管理應用系統，大大降低企業信息化門檻，迅速提升企業信息化水平，增強企業市場競爭力。
醫療云可以推動醫院與醫院、醫院與社區、醫院與急救中心、醫院與家庭之間的服務共享，并形成一套全新的醫療健康服務系統，從而有效地提高醫療保健的質量。
5.云計算產業
硬件與設備制造、基礎設施運營、軟件與解決方案提供商、基礎設施即服務（IaaS）、平臺即服務（PaaS）、軟件即服務（SaaS）、終端設備、云安全、云計算交付/咨詢/認證
1.8.2物聯網
1.物聯網概念
物聯網是物物相連的互聯網，是互聯網的延伸，它利用局部網絡或互聯網等通信技術把傳感器、控制器、機器、人員和物等通過新的方式聯在一起，形成人與物、物與物相聯，實現信息化和遠程管理控制。
2.物聯網關鍵技術
物聯網中的關鍵技術包括識別和感知技術（二維碼、RFID、傳感器等）、網絡與通信技術、數據挖掘與融合技術等
3.物聯網應用
智能交通、智慧醫療、智能家居、環保監測、智能安防、智能物流、智能電網、智慧農業、智能工業
4.物聯網產業
核心感應器件提供商、感知層末端設備提供商、網絡提供商、軟件與行業解決方案提供商、系統集成商、運營及服務提供商
1.8.3大數據、云計算、物聯網之間的關系
?
轉載于:https://www.cnblogs.com/giscode/p/6734576.html
總結
