場景

MapReduce Java API實(shí)例-統(tǒng)計單詞出現(xiàn)頻率：

https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119410169

在上面對單個txt文件進(jìn)行統(tǒng)計的基礎(chǔ)上，Mapreduce也是支持文件夾下多個文件處理的。

統(tǒng)計學(xué)生各科平均成績，每科成績?yōu)橐粋€文件。

在Map階段和上面統(tǒng)計單次頻率差不多，然后在Reduce階段求出總和后，除以科目數(shù)，

并將輸出value的數(shù)據(jù)類型設(shè)置為FloatWritable即可。

新建三個數(shù)據(jù)集，chinese.txt、math.txt、english.txt

分別代表三科成績，每科成績的格式如下

?

每科成績左邊是姓名，右邊是成績，并且姓名和成績之間是用空格分開。

注意這里是一個空格，因?yàn)橄旅嫣幚淼囊?guī)則就是按照中間一個空格來處理的。

這點(diǎn)要尤為注意，并且如果這個文件是在Windows上新建并添加的空格，一定要注意排查上傳到Centos以及HDFS集群中是否格式變化。

注：

博客：
https://blog.csdn.net/badao_liumang_qizhi
關(guān)注公眾號
霸道的程序猿
獲取編程相關(guān)電子書、教程推送與免費(fèi)下載。

實(shí)現(xiàn)

1、Map實(shí)現(xiàn)代碼

package com.badao.averagegrade;import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException; import java.util.StringTokenizer;public class AverageGradeMapper extends Mapper<Object,Text,Text,IntWritable> {//1、編寫map函數(shù)，通過繼承Mapper類實(shí)現(xiàn)里面的map函數(shù)//?? Mapper類當(dāng)中的第一個函數(shù)是Object,也可以寫成Long//?? 第一個參數(shù)對應(yīng)的值是行偏移量//2、第二個參數(shù)類型通常是Text類型，Text是Hadoop實(shí)現(xiàn)的String 類型的可寫類型//?? 第二個參數(shù)對應(yīng)的值是每行字符串//3、第三個參數(shù)表示的是輸出key的數(shù)據(jù)類型//4、第四個參數(shù)表示的是輸出value的數(shù)據(jù)類型，IntWriable 是Hadoop實(shí)現(xiàn)的int類型的可寫數(shù)據(jù)類型public final static IntWritable one = new IntWritable(1);public Text word = new Text();//key 是行偏移量//value是每行字符串@Overridepublic void map(Object key, Text value, Context context) throws IOException, InterruptedException {String[] str = value.toString().split(" ");context.write(new Text(str[0]),new IntWritable(Integer.parseInt(str[1])));} }

2、Reduce代碼

package com.badao.averagegrade;import org.apache.hadoop.io.FloatWritable; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Reducer;import java.io.IOException;//第一個參數(shù)類型是輸入值key的數(shù)據(jù)類型，map中間輸出key的數(shù)據(jù)類型 //第二個參數(shù)類型是輸入值value的數(shù)據(jù)類型，map中間輸出value的數(shù)據(jù)類型 //第三個參數(shù)類型是輸出值key的數(shù)據(jù)類型，他的數(shù)據(jù)類型要跟job.setOutputKeyClass(Text.class) 保持一致 //第四個參數(shù)類型是輸出值value的數(shù)據(jù)類型，它的數(shù)據(jù)類型要跟job.setOutputValueClass(IntWriable.class) 保持一致public class AverageGradeReducer extends Reducer<Text, IntWritable,Text, FloatWritable> {public FloatWritable result = new FloatWritable();//key就是單詞? values是單詞出現(xiàn)頻率列表@Overridepublic void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {int sum = 0;for(IntWritable val:values){//get就是取出IntWriable的值sum += val.get();}//3表示科目數(shù)result.set((float)sum/3);context.write(key,result);} }

3、Job代碼

package com.badao.averagegrade;import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.FloatWritable; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;import java.io.IOException;public class AverageGradeJob {public static void main(String[] args) throws InterruptedException, IOException, ClassNotFoundException {wordCountLocal();}public static void wordCountLocal()throws IOException, ClassNotFoundException, InterruptedException{Configuration conf = new Configuration();conf.set("fs.defaultFS","hdfs://192.168.148.128:9000");//conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");System.setProperty("HADOOP_USER_NAME","root");//實(shí)例化一個作業(yè)，word count是作業(yè)的名字Job job = Job.getInstance(conf, "averagegrade");//指定通過哪個類找到對應(yīng)的jar包job.setJarByClass(AverageGradeJob.class);//為job設(shè)置Mapper類job.setMapperClass(AverageGradeMapper.class);//為job設(shè)置reduce類job.setReducerClass(AverageGradeReducer.class);job.setMapOutputValueClass(IntWritable.class);//為job的輸出數(shù)據(jù)設(shè)置key類job.setOutputKeyClass(Text.class);//為job輸出設(shè)置value類job.setOutputValueClass(FloatWritable.class);//為job設(shè)置輸入路徑，輸入路徑是存在的文件夾/文件FileInputFormat.addInputPath(job,new Path("/grade"));//為job設(shè)置輸出路徑FileOutputFormat.setOutputPath(job,new Path("/averageGrade3"));job.waitForCompletion(true);}}

然后將上面的三個成績的txt上傳到集群HDFS中，運(yùn)行job

?

可以在集群HDFS中看到生成統(tǒng)計好的文件，查看paat-r-00000的內(nèi)容

?

總結(jié)

以上是生活随笔為你收集整理的MapReduce Java API实例-统计平均成绩的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。