learn from 從0開始學大數據（極客時間）

MapReduce 編程模型

包含 Map 和 Reduce 兩個過程

• map 的主要輸入是一對 <Key, Value> 值，輸出一對 <Key, Value> 值
• 將相同 Key 合并，形成 <Key, Value 集合 >
• 再將這個 <Key, Value 集合 > 輸入 reduce，輸出零個或多個 <Key, Value> 對

// 計算單詞數量的 MapReduce 版本 public class WordCount {public static class TokenizerMapperextends Mapper<Object, Text, Text, IntWritable>{private final static IntWritable one = new IntWritable(1);private Text word = new Text();// map 函數 public void map(Object key, Text value, Context context) throws IOException, InterruptedException {StringTokenizer itr = new StringTokenizer(value.toString());while (itr.hasMoreTokens()) {word.set(itr.nextToken());context.write(word, one);// 對每個單詞輸出一個 < word, 1 > 的鍵值對}}}// MR 計算框架會將這些 < word, 1 > 收集起來// 將相同的 word 放在一起，形成 <word , <1,1,1,1,1,1,1…>> 這樣的 <Key, Value 集合 > 數據// 然后將其輸入給 reduce 函數public static class IntSumReducerextends Reducer<Text,IntWritable,Text,IntWritable> {private IntWritable result = new IntWritable();// reduce 函數public void reduce(Text key, Iterable<IntWritable> values,Context context) throws IOException, InterruptedException {int sum = 0;for (IntWritable val : values) {sum += val.get();// 對 word 對應的 1 的集合 求和 sum}result.set(sum);context.write(key, result);// 輸出 < word, sum > 鍵值對}} }

總結

以上是生活随笔為你收集整理的MapReduce既是编程模型又是计算框架的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。