1、安裝Hadoop開發插件

hadoop安裝包contrib/目錄下有個插件hadoop-0.20.2-eclipse-plugin.jar，拷貝到myeclipse根目錄下/dropins目錄下。

2、 啟動myeclipse，打開Perspective：

【Window】->【Open Perspective】->【Other...】->【Map/Reduce】->【OK】

3、 打開一個View：

【Window】->【Show View】->【Other...】->【MapReduce Tools】->【Map/Reduce Locations】->【OK】

4、 添加Hadoop location：

location name: 我填寫的是：localhost.
Map/Reduce Master 這個框里
Host：就是jobtracker 所在的集群機器，這里寫localhost
Hort：就是jobtracker 的port，這里寫的是9999
這兩個參數就是mapred-site.xml里面mapred.job.tracker里面的ip和port
DFS Master 這個框里
Host：就是namenode所在的集群機器，這里寫localhost
Port：就是namenode的port，這里寫8888
這兩個參數就是core-site.xml里面fs.default.name里面的ip和port
（Use M/R master host，這個復選框如果選上，就默認和Map/Reduce Master這個框里的host一樣，如果不選擇，就可以自己定義輸入，這里jobtracker 和namenode在一個機器上，所以是一樣的，就勾選上）

user name：這個是連接hadoop的用戶名，因為我是用lsq用戶安裝的hadoop，而且沒建立其他的用戶，所以就用lsq。下面的不用填寫。
然后點擊finish按鈕，此時，這個視圖中就有多了一條記錄。

重啟myeclipse并重新編輯剛才建立的那個連接記錄，現在我們編輯advance parameters tab頁
（重啟編輯advance parameters tab頁原因：在新建連接的時候，這個advance paramters tab頁面的一些屬性會顯示不出來，顯示不出來也就沒法設置，所以必須重啟一下eclipse再進來編輯才能看到）

這里大部分的屬性都已經自動填寫上了，其實就是把core-defaulte.xml、hdfs-defaulte.xml、mapred-defaulte.xml里面的一些配置屬性展示出來。因為在安裝hadoop的時候，其site系列配置文件里有改動，所以這里也要弄成一樣的設置。主要關注的有以下屬性：
fs.defualt.name：這個在General tab頁已經設置了
mapred.job.tracker：這個在General tab頁也設置了
dfs.replication：這個這里默認是3，因為我在hdfs-site.xml里面設置成了1，所以這里也要設置成1
hadoop.job.ugi：這里要填寫：lsq,Tardis，逗號前面的是連接的hadoop的用戶，逗號后面就寫死Tardis（這個屬性不知道我怎么沒有...）
然后點擊finish，然后就連接上了（先要啟動sshd服務，啟動hadoop進程），連接上的標志如圖：

5、新建Map/Reduce Project：

【File】->【New】->【Project...】->【Map/Reduce】->【Map/Reduce Project】->【Project name: WordCount】->【Configure Hadoop install directory...】->【Hadoop installation directory: D:\cygwin\home\lsq\hadoop-0.20.2】->【Apply】->【OK】->【Next】->【Allow output folders for source folders】->【Finish】

6、新建WordCount類：

添加/編寫源代碼：

D:\cygwin\home\lsq\hadoop-0.20.2/src/examples/org/apache/hadoop/examples/WordCount.java

package org.apache.hadoop.examples;

import java.io.IOException;

import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.Reducer;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import org.apache.hadoop.util.GenericOptionsParser;

public class WordCount {

public static class TokenizerMapper

extends Mapper<Object, Text, Text, IntWritable>{

private final static IntWritable one = new IntWritable(1);

private Text word = new Text();

public void map(Object key, Text value, Context context

) throws IOException, InterruptedException {

StringTokenizer itr = new StringTokenizer(value.toString());

while (itr.hasMoreTokens()) {

word.set(itr.nextToken());

context.write(word, one);

}

}

}

public static class IntSumReducer

extends Reducer<Text,IntWritable,Text,IntWritable> {

private IntWritable result = new IntWritable();

public void reduce(Text key, Iterable<IntWritable> values,

Context context

) throws IOException, InterruptedException {

int sum = 0;

for (IntWritable val : values) {

sum += val.get();

}

result.set(sum);

context.write(key, result);

}

}

public static void main(String[] args) throws Exception {

Configuration conf = new Configuration();

String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();

if (otherArgs.length != 2) {

System.err.println("Usage: wordcount <in> <out>");

System.exit(2);

}

Job job = new Job(conf, "word count");

job.setJarByClass(WordCount.class);

job.setMapperClass(TokenizerMapper.class);

job.setCombinerClass(IntSumReducer.class);

job.setReducerClass(IntSumReducer.class);

job.setOutputKeyClass(Text.class);

job.setOutputValueClass(IntWritable.class);

FileInputFormat.addInputPath(job, new Path(otherArgs[0]));

FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));

System.exit(job.waitForCompletion(true) ? 0 : 1);

}

}

7、上傳模擬數據文件夾。

為了運行程序，需要一個輸入的文件夾和輸出的文件夾。輸出文件夾，在程序運行完成后會自動生成。我們需要給程序一個輸入文件夾。

（1）、在當前目錄（如hadoop安裝目錄）下新建文件夾input，并在文件夾下新建兩個文件file1、file2，這兩個文件內容分別如下：

file1

Hello World Bye World
file2
Hello Hadoop Goodbye Hadoop

(2)、.將文件夾input上傳到分布式文件系統中。
在已經啟動Hadoop守護進程終端中cd 到hadoop安裝目錄，運行下面命令：
bin/hadoop fs -put input in
8、 配置運行參數：

①在新建的項目WordCount，點擊WordCount.java，右鍵-->Run As-->Run Configurations
②在彈出的Run Configurations對話框中，點Java Application，右鍵-->New，這時會新建一個application名為WordCount
③配置運行參數，點Arguments，在Program arguments中輸入“你要傳給程序的輸入文件夾和你要求程序將計算結果保存的文件夾”，如：

（如果運行時報java.lang.OutOfMemoryError: Java heap space 配置VM arguments(在Program arguments下)

-Xms512m -Xmx1024m -XX:MaxPermSize=256m
）

8、點擊Run，運行程序

點擊Run，運行程序，過段時間將運行完成，等運行結束后，可以在終端中用命令如下，查看是否生成文件夾output：

bin/hadoop fs -ls

用下面命令查看生成的文件內容：

bin/hadoop fs -cat output/*

如果顯示如下，說明已經成功在myeclipse下運行第一個MapReduce程序了。

Bye 1
Goodbye 1
Hadoop 2
Hello 2
World 2

轉載于:https://www.cnblogs.com/jasonHome/p/6816453.html

總結

以上是生活随笔為你收集整理的[原创] 毕设---在myeclipes中安装Hadoop开发插件的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。