本文轉自 http://www.cnblogs.com/npumenglei/

....

先創建兩個文本文件， 作為我們例子的輸入：

File 1 內容：

My name is Tony

My company is pivotal

File 2 內容：

My name is Lisa

My company is EMC

1. 第一步， Map

顧名思義， Map 就是拆解.

首先我們的輸入就是兩個文件， 默認情況下就是兩個split, 對應前面圖中的split 0, split 1

兩個split 默認會分給兩個Mapper來處理，WordCount例子相當地暴力， 這一步里面就是直接把文件內容分解為單詞和 1 （注意， 不是具體數量， 就是數字1）其中的單詞就是我們的主健，也稱為Key, 后面的數字就是對應的值，也稱為value.

那么對應兩個Mapper的輸出就是：

split 0

My 1

name 1

is 1

Tony 1

My 1

company 1

is 1

Pivotal 1

split 1

My 1

name 1

is 1

Lisa 1

My 1

company 1

is 1

EMC 　　1

2. Partition

Partition 是什么？ Partition 就是分區。

為什么要分區？ 因為有時候會有多個Reducer, Partition就是提前對輸入進行處理， 根據將來的Reducer進行分區. 到時候Reducer處理的時候， 只需要處理分給自己的數據就可以了。

如何分區？ 主要的分區方法就是按照Key 的不同，把數據分開，其中很重要的一點就是要保證Key的唯一性， 因為將來做Reduce的時候有可能是在不同的節點上做的， 如果一個Key同時存在于兩個節點上， Reduce的結果就會出問題， 所以很常見的Partition方法就是哈希。

結合我們的例子， 我們這里假設有兩個Reducer, 前面兩個split 做完Partition的結果就會如下：

split 0

Partition 1:
company　1
is 　1
is　　　　1

Partition 2:
My　　 1
My　　　　1
name　　1
Pivotal 1
Tony　　 1

split 1

Partition 1:
company 1
is 　　　1

is 1
EMC　　　1

Partition 2:
My　　 1
My 1
name　　 1
Lisa 1

其中Partition 1 將來是準備給Reducer 1 處理的， Partition 2 是給Reducer 2 的

這里我們可以看到， Partition 只是把所有的條目按照Key 分了一下區， 沒有其他任何處理， 每個區里面的Key 都不會出現在另外一個區里面。

3. Sort

Sort 就是排序嘍， 其實這個過程在我來看并不是必須的， 完全可以交給客戶自己的程序來處理。 那為什么還要排序呢？ 可能是寫MapReduce的大牛們想，“大部分reduce 程序應該都希望輸入的是已經按Key排序好的數據， 如果是這樣， 那我們就干脆順手幫你做掉啦， 請叫我雷鋒！” ......好吧， 你是雷鋒.

那么我們假設對前面的數據再進行排序， 結果如下：

split 0

Partition 1:
company　1
is 　1
is　　　　1

Partition 2:
My　　 1
My　　　　1
name　　1
Pivotal 1
Tony　　 1

split 1

Partition 1:
company 1
EMC　　 1
is 　　　1

is 1

Partition 2:
Lisa　　 1
My　　 1
My 1
name　　 1

這里可以看到， 每個partition里面的條目都按照Key的順序做了排序

4. Combine

什么是Combine呢？ Combine 其實可以理解為一個mini Reduce 過程， 它發生在前面Map的輸出結果之后， 目的就是在結果送到Reducer之前先對其進行一次計算， 以減少文件的大小， 方便后面的傳輸。 但這步也不是必須的。

按照前面的輸出， 執行Combine:

split 0

Partition 1:
company　1
is 　2

Partition 2:
My　　 2
name　　1
Pivotal 1
Tony　　 1

split 1

Partition 1:
company 1
EMC　　 1
is 　　　2

Partition 2:
Lisa　　 1
My　　 2
name　　 1

我們可以看到， 針對前面的輸出結果， 我們已經局部地統計了is 和My的出現頻率， 減少了輸出文件的大小。

5. Copy

下面就要準備把輸出結果傳送給Reducer了。 這個階段被稱為Copy, 但事實上雷子認為叫他Download更為合適， 因為實現的時候， 是通過http的方式， 由Reducer節點向各個mapper節點下載屬于自己分區的數據。

那么根據前面的Partition, 下載完的結果如下：

Reducer 節點 1 共包含兩個文件:

Partition 1:
company　1
is 　2

Partition 1:

company　　1

EMC　　　　1

is　　　　2

Reducer 節點 2 也是兩個文件:

Partition 2:

My　　 2
name　　1
Pivotal 1
Tony　　 1

Partition 2:

Lisa　　 1

My　　 2

name　　 1

這里可以看到， 通過Copy, 相同Partition 的數據落到了同一個節點上。

6. Merge

如上一步所示， 此時Reducer得到的文件是從不同Mapper那里下載到的， 需要對他們進行合并為一個文件， 所以下面這一步就是Merge, 結果如下：

Reducer 節點 1

company　1
company 1
EMC　　 1

is 　2
is　　　　2

Reducer 節點 2

Lisa　　1
My　　 2
My　　　　2

name　　1
name　　1

Pivotal 1

Tony　　 1

7. Reduce

終于可以進行最后的Reduce 啦...這步相當簡單嘍， 根據每個文件中的內容最后做一次統計， 結果如下：

Reducer 節點 1

company　2
EMC　　　　1

is 　4

Reducer 節點 2

Lisa　　1
My　　 4

name　　2

Pivotal 1

Tony　　 1

至此大功告成！ 我們成功統計出兩個文件里面每個單詞的數目， 同時把它們存入到兩個輸出文件中， 這兩個輸出文件也就是傳說中的part-r-00000 和part-r-00001, 看看兩個文件的內容， 再回頭想想最開始的Partition, 應該是清楚了其中的奧秘吧。

如果你在你自己的環境中運行的WordCount只有part-r-00000一個文件的話， 那應該是因為你使用的是默認設置， 默認一個job只有一個reducer

如果你想設兩個， 你可以：

1. 在源代碼中加入 job.setNumReduceTasks(2), 設置這個job的Reducer為兩個
或者
2. 在 mapred-site.xml 中設置下面參數并重啟服務
<property>
<name>mapred.reduce.tasks</name>
<value>2</value>
</property>

這樣， 整個集群都會默認使用兩個Reducer

結束語：

本文大致描述了一下MapReduce的整個過程以及每個階段所作的事情， 并沒有涉及具體的job，resource的管理和控制， 因為那個是第一代MapReduce框架和Yarn框架的主要區別。 而兩代框架中上述MapReduce 的原理是差不多的，希望對大家有所幫助。

總結

以上是生活随笔為你收集整理的MapReduce 过程详解 (用WordCount作为例子)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。