將工程整體打成一個jar包并上傳到linux機器上，

準備好要處理的數據文件放到hdfs的指定目錄中

用命令啟動jar包中的Jobsubmitter，讓它去提交jar包給yarn來運行其中的mapreduce程序 ?：hadoop jar wc.jar cn.edu360.mr.wordcount.JobSubmitter .....

去hdfs的輸出目錄中查看結果

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

/**

* 如果要在hadoop集群的某臺機器上啟動這個job提交客戶端的話

* conf里面就不需要指定 fs.defaultFS mapreduce.framework.name

*

* 因為在集群機器上用 hadoop jar xx.jar cn.edu360.mr.wc.JobSubmitter2 命令來啟動客戶端main方法時，

* hadoop jar這個命令會將所在機器上的hadoop安裝目錄中的jar包和配置文件加入到運行時的classpath中

*

* 那么，我們的客戶端main方法中的new Configuration()語句就會加載classpath中的配置文件，自然就有了

* fs.defaultFS 和 mapreduce.framework.name 和 yarn.resourcemanager.hostname 這些參數配置

*

* @author ThinkPad

*

*/

public class JobSubmitterLinuxToYarn {

public static void main(String[] args) throws Exception {

Configuration conf = new Configuration();

conf.set("fs.defaultFS", "hdfs://hdp-01:9000");

conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");

// 沒指定默認文件系統

// 沒指定mapreduce-job提交到哪運行

Job job = Job.getInstance(conf);

job.setJarByClass(JobSubmitterLinuxToYarn.class);

job.setMapperClass(WordcountMapper.class);

job.setReducerClass(WordcountReducer.class);

job.setMapOutputKeyClass(Text.class);

job.setMapOutputValueClass(IntWritable.class);

job.setOutputKeyClass(Text.class);

job.setOutputValueClass(IntWritable.class);

FileInputFormat.setInputPaths(job, new Path("/wordcount/input"));

FileOutputFormat.setOutputPath(job, new Path("/wordcount/output"));

job.setNumReduceTasks(3);

boolean res = job.waitForCompletion(true);

System.exit(res?0:1);

}

}

總結

以上是生活随笔為你收集整理的linux进程map,LInux环境运行mapReduce程序的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。