MapReduce原理

??MapRedcue采用‘分而治之’的思想，對大規模數據集的操作，分發給一個主節點下的各個分節點共同完成，然后通過整合各個節點的中間結果，得到最終結果。Mapreduce就是任務的分解，與結果的匯總

MapReduce任務機器有兩個一個是jobTracker，另一個是TaskTracher，JobTracker用于調度的工作，TaskTracher用于執行工作，一個hadoop集群只有一個JobTracker。

　在分布式計算中，MapReduce框架負責處理了并行編程中分布式存儲、工作調度、負載均衡、容錯均衡、容錯處理以及網絡通信等復雜問題，把處理過程高度抽象為兩個函數：map和reduce，map負責把任務分解成多個任務，reduce負責把分解后多任務處理的結果匯總起來。

輸入--拆分--映射--歸并---計算--結果

?

?

轉載于:https://www.cnblogs.com/tsxylhs/p/7262011.html

總結

以上是生活随笔為你收集整理的hadoop Mapreduce组件介绍的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。