MapReduce 編程規范

MapReduce 的開發一共有八個步驟, 其中 Map 階段分為 2 個步驟，Shuffle 階段 4個步驟，Reduce 階段分為 2 個步驟

Map 階段 2 個步驟

1. 設置 InputFormat 類, 將數據切分為 Key-Value(K1和V1) 對, 輸入到第二步

2. 自定義 Map 邏輯, 將第一步的結果轉換成另外的 Key-Value（K2和V2） 對, 輸出結果

Shuffle 階段 4 個步驟

1. 對輸出的 Key-Value 對進行分區
2. 對不同分區的數據按照相同的 Key 排序
3. (可選) 對分組過的數據初步規約, 降低數據的網絡拷貝
4. 對數據進行分組, 相同 Key 的 Value 放入一個集合中

Reduce 階段 2 個步驟

1. 對多個 Map 任務的結果進行排序以及合并, 編寫 Reduce 函數實現自己的邏輯, 對輸入的 Key-Value 進行處理, 轉為新的 Key-Value（K3和V3）輸出
2. 設置 OutputFormat 處理并保存 Reduce 輸出的 Key-Value 數據

總結

以上是生活随笔為你收集整理的MapReduce的编程规范的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。