MapReduce_（一）

僅供個人學習使用，轉發請標明，違者必究。
傳統Hash方法–流量分發

–找到合理的key，hash（key）盡量均勻分布。
比如：

10%5=09%5=48%5=37%5=2……

不管什么數字，除以5最終總會分布在0~4之間。
也就是通過對每個請求均勻的分布到每個服務器內。

一致性Hash：支持動態增長，更高級的劃分方法。
一致性Hash算法設計目標是為了解決因特網中的熱點（Hot Spot）問題
比如 0~65535，但到65535之后在加一就會變為0，從而構成一個循環。
分而治之----最基本的海量技術思想
大數據量——按數據劃分
–早期搜索引擎中的網頁存儲系統，單機存儲數千萬網頁，幾十億的網頁需要通過幾百臺單機服務器存儲，url為key
–分布式文件系統，按block（64-256M）
大流量——按流量劃分
–覆蓋大流量互聯網服務，搜索引擎將query作為key來分流
大計算——按輸入數據，劃分計算任務
—Map Reduce 按輸入數據來劃分

MapReduce是一個用于處理海量數據的分布式計算框架。
主要解決：1數據分布式存儲 2作業調度 3 容錯 4 及其間通信等復雜問題。
為什么HDFS
1系統可靠性 2可擴展性 3并發處理

總結

以上是生活随笔為你收集整理的MapReduce_自学过程（一）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。