?

?　　這篇博客，給大家，體會不一樣的版本編程。

?

?

?

代碼

1 package zhouls.bigdata.myMapReduce.wordcount4; 2 3 import java.io.IOException; 4 5 import org.apache.hadoop.io.IntWritable; 6 import org.apache.hadoop.io.LongWritable; 7 import org.apache.hadoop.io.Text; 8 import org.apache.hadoop.mapreduce.Mapper; 9 import org.apache.hadoop.util.StringUtils; 10 11 public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable>{ 12 13 //該方法循環調用，從文件的split中讀取每行調用一次，把該行所在的下標為key，該行的內容為value 14 protected void map(LongWritable key, Text value, 15 Context context) 16 throws IOException, InterruptedException { 17 String[] words = StringUtils.split(value.toString(), ' '); 18 for(String w :words){ 19 context.write(new Text(w), new IntWritable(1)); 20 } 21 } 22 }

?

?

1 package zhouls.bigdata.myMapReduce.wordcount4; 2 3 import java.io.IOException; 4 5 import org.apache.hadoop.io.IntWritable; 6 import org.apache.hadoop.io.Text; 7 import org.apache.hadoop.mapreduce.Reducer; 8 9 public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable>{ 10 11 //每組調用一次，這一組數據特點：key相同，value可能有多個。 12 protected void reduce(Text arg0, Iterable<IntWritable> arg1, 13 Context arg2) 14 throws IOException, InterruptedException { 15 int sum =0; 16 for(IntWritable i: arg1){ 17 sum=sum+i.get(); 18 } 19 arg2.write(arg0, new IntWritable(sum)); 20 } 21 }

?

?

?

?

?

?

?

?

?

//System.setProperty("HADOOP_USER_NAME", "root");
//
//1、MR執行環境有兩種：本地測試環境，服務器環境
//
//本地測試環境(windows)：(便于調試)
// 在windows的hadoop目錄bin目錄有一個winutils.exe
// 1、在windows下配置hadoop的環境變量
// 2、拷貝debug工具(winutils.exe)到HADOOP_HOME/bin
// 3、修改hadoop的源碼 ，注意：確保項目的lib需要真實安裝的jdk的lib
//
// 4、MR調用的代碼需要改變：
// a、src不能有服務器的hadoop配置文件(因為，本地是調試，去服務器環境集群那邊的)
// b、再調用是使用：
// Configuration config = new Configuration();
// config.set("fs.defaultFS", "hdfs://HadoopMaster:9000");
// config.set("yarn.resourcemanager.hostname", "HadoopMaster");

//服務器環境：(不便于調試)，有兩種方式。
//首先需要在src下放置服務器上的hadoop配置文件（都要這一步）
//1、在本地直接調用，執行過程在服務器上（真正企業運行環境）
// a、把MR程序打包（jar），直接放到本地
// b、修改hadoop的源碼 ，注意：確保項目的lib需要真實安裝的jdk的lib
// c、增加一個屬性：
// config.set("mapred.jar", "C:\\Users\\Administrator\\Desktop\\wc.jar");
// d、本地執行main方法，servlet調用MR。
//
//
//2、直接在服務器上，使用命令的方式調用，執行過程也在服務器上
// a、把MR程序打包（jar），傳送到服務器上
// b、通過： hadoop jar jar路徑 類的全限定名
//
//
//
//
//a,1 b,1
//a,3 c,3
//a,2 d,2
//
//
//a,3 c,3
//a,2 d,2
//a,1 b,1
//

?

1 package zhouls.bigdata.myMapReduce.wordcount4; 2 3 4 import org.apache.hadoop.conf.Configuration; 5 import org.apache.hadoop.fs.FileSystem; 6 import org.apache.hadoop.fs.Path; 7 import org.apache.hadoop.io.IntWritable; 8 import org.apache.hadoop.io.Text; 9 import org.apache.hadoop.mapreduce.Job; 10 import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; 11 import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; 12 13 public class RunJob { 14 15 public static void main(String[] args) { 16 Configuration config =new Configuration(); 17 config.set("fs.defaultFS", "hdfs://HadoopMaster:9000"); 18 config.set("yarn.resourcemanager.hostname", "HadoopMaster"); 19 // config.set("mapred.jar", "C:\\Users\\Administrator\\Desktop\\wc.jar");//先打包好wc.jar 20 try { 21 FileSystem fs =FileSystem.get(config); 22 23 Job job =Job.getInstance(config); 24 job.setJarByClass(RunJob.class); 25 26 job.setJobName("wc"); 27 28 job.setMapperClass(WordCountMapper.class); 29 job.setReducerClass(WordCountReducer.class); 30 31 job.setMapOutputKeyClass(Text.class); 32 job.setMapOutputValueClass(IntWritable.class); 33 34 FileInputFormat.addInputPath(job, new Path("/usr/input/wc/wc.txt"));//新建好輸入路徑，且數據源 35 36 Path outpath =new Path("/usr/output/wc"); 37 if(fs.exists(outpath)){ 38 fs.delete(outpath, true); 39 } 40 FileOutputFormat.setOutputPath(job, outpath); 41 42 boolean f= job.waitForCompletion(true); 43 if(f){ 44 System.out.println("job任務執行成功"); 45 } 46 } catch (Exception e) { 47 e.printStackTrace(); 48 } 49 } 50 }

總結

以上是生活随笔為你收集整理的Hadoop MapReduce编程 API入门系列之wordcount版本2（六）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。