Hadoop之ReduceTask工作機制

---

目錄

設置ReduceTask并行度（個數）

注意

實驗：測試reducetask多少合適

ReduceTask工作機制

---

1. 設置ReduceTask并行度（個數）

reducetask的并行度同樣影響整個job的執行并發度和執行效率，但與maptask的并發數由切片數決定不同，Reducetask數量的決定是可以直接手動設置：

//默認值是1，手動設置為4 job.setNumReduceTasks(4);

---

2. 注意

reducetask=0 ，表示沒有reduce階段，輸出文件個數和map個數一致。

reducetask默認值就是1，所以輸出文件個數為一個。

如果數據分布不均勻，就有可能在reduce階段產生數據傾斜

reducetask數量并不是任意設置，還要考慮業務邏輯需求，有些情況下，需要計算全局匯總結果，就只能有1個reducetask。

具體多少個reducetask，需要根據集群性能而定。

如果分區數不是1，但是reducetask為1，是否執行分區過程。答案是：不執行分區過程。因為在maptask的源碼中，執行分區的前提是先判斷reduceNum個數是否大于1。不大于1肯定不執行。

---

3. 實驗：測試reducetask多少合適

實驗環境：1個master節點，16個slave節點：CPU:8GHZ，內存: 2G

實驗結論：

---

4. ReduceTask工作機制

總結

以上是生活随笔為你收集整理的Hadoop之ReduceTask工作机制的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。