大數(shù)據(jù)時代

大數(shù)據(jù)開始被人們所熟知是在2010年前后。

2010年前后，以云計算、大數(shù)據(jù)、物聯(lián)網的普及為標志迎來第三次信息化浪潮

---

---

大數(shù)據(jù)的概念與影響

4V

大數(shù)據(jù)由結構化和非結構化數(shù)據(jù)組成，90%都是非結構化的

結構化數(shù)據(jù)是指存儲在關系型數(shù)據(jù)庫當中的非常規(guī)范的數(shù)據(jù)

大數(shù)據(jù)對我們思維方式的影響

• 全樣而非抽樣（已經由足夠的空間和計算能力對全樣數(shù)據(jù)進行存儲和分析而不用去抽樣了）
• 效率而非精確（抽樣時追求精確性方式應用到全局錯誤被放大，而全樣數(shù)據(jù)沒有必要了，而時效性很重要，很多時候的數(shù)據(jù)價值只在一瞬間（監(jiān)控錄像））
• 相關而非因果（淘寶買書，會給你推送另外用戶買了也那本書，而不會告訴你為什么也買了那本書）

大數(shù)據(jù)關鍵技術

大數(shù)據(jù)技術（分布式存儲和分布式處理）是以谷歌公司技術為代表的

分布式數(shù)據(jù)庫和分布式文件系統(tǒng)屬于分布式存儲技術

分布式并行處理技術屬于分布式處理技術

?

現(xiàn)在沒有一種大數(shù)據(jù)產品可以滿足所有需求，所以對于不同的計算模式需要使用不同的產品

批處理計算

MapReduce是批處理計算模式的典型代表，它不適合做實時交互式計算（主要是批處理的東西，都不可能實現(xiàn)秒級響應）

Spark也屬于批處理，但它的實時性比MapReduce要好，而且它解決了MapReduce中的一些缺點，MapReduce沒辦法迭代計算，而Spark可以高效做迭代計算

?

大數(shù)據(jù)技術繼承自云計算

總結

以上是生活随笔為你收集整理的大数据技术原理与应用（一）：大数据概述的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。