下面介紹myeclipse與hadoop的集成。

我用的myeclipse版本是8.5.

1、安裝hadoop開發插件

在hadoop1.2.1版本的安裝包contrib/目錄下，已經不再提供hadoop-eclipse-pligin-1.2.1.jar;

而是提供了源代碼文件，需要我們自行重新編譯成jar包文件；這里方便，大家可以從這里下載：

hadoop-eclipse-plugin-1.2.1.jar.pdf

由于博客上傳文件的類型限制，故添加了pdf后綴，下載之后重命名，去掉".pdf"即可。

然后將該文件拷貝到myeclipse根目錄下/dropins目錄下。

2、設置myeclipse

啟動myeclipse，打開Perspective；

【Window】->【Open?Perspective】->【Other...】->【Map/Reduce】->【OK】

然后打開View：

【Window】->【Show?View】->【Other...】->【MapReduce?Tools】->【Map/Reduce?Locations】->【OK】

然后，添加Hadoop location，在Map/Reduce locations下面的空白處單擊右鍵：

（我這里已經建了一個，所以會有一條，第一次建，應該是空白的）

然后選擇edit hadoop location

location name: 我填寫的是：first-hadoop
Map/Reduce Master 這個框里
Host：就是jobtracker 所在的集群機器，這里寫localhost
Hort：就是jobtracker 的port，這里寫的是9001
這兩個參數就是mapred-site.xml里面mapred.job.tracker里面的ip和port?

?
DFS Master 這個框里
Host：就是namenode所在的集群機器，這里寫localhost
Port：就是namenode的port，這里寫9000
這兩個參數就是core-site.xml里面fs.default.name里面的ip和port

（Use M/R master host，這個復選框如果選上，就默認和Map/Reduce Master這個框里的host一樣，如果不選擇，就可以自己定義輸入，這里jobtracker 和namenode在一個機器上，所以是一樣的，就勾選上）

?user name：這個是連接hadoop的用戶名，我的是ldm。
然后點擊finish按鈕，此時，這個視圖中就有多了一條記錄。

重啟myeclipse并重新編輯剛才建立的那個連接記錄，現在我們編輯advance parameters tab頁

這里大部分的屬性都已經自動填寫上了，其實就是把core-defaulte.xml、hdfs-defaulte.xml、mapred-defaulte.xml里面的一些配置屬性展示出來。

因為在安裝hadoop的時候，其site系列配置文件里有改動，所以這里也要弄成一樣的設置。

主要關注的有以下屬性：
fs.defualt.name：這個在General tab頁已經設置了
mapred.job.tracker：這個在General tab頁也設置了
dfs.replication：這個這里默認是3，因為我在hdfs-site.xml里面設置成了1，所以這里也要設置成1?
然后點擊finish，然后就連接上了（先要啟動sshd服務，啟動hadoop進程），連接上的標志如圖：

3、wordcount實例

新建Map/Reduce?Project:

【File】->【New】->【Project...】->【Map/Reduce】->【Map/Reduce?Project】->

【Project?name:?WordCount】->【Configure?Hadoop?install?directory...】->【Hadoop?installation?directory:?c:\cygwin64\home\ldm\hadoop】

->【Apply】->【OK】->【Next】->【Allow?output?folders?for?source?folders】->【Finish】

新建WordCount類：

然后將hadoop安裝包中實例WordCount.java類中的代碼拷入。

接下來，新建一個文件夾input，新建兩個文件input/file1，input/file2;

文件內容分別為Hello?World?Bye?World和Hello?Hadoop?Goodbye?Hadoop

然后在cygwin終端中運行命令：hadoop?fs?-put?input?input

將文件夾input上傳到分布式文件系統中，命令中的路徑根據自己路徑為準。

配置運行參數：

①在新建的項目WordCount，點擊WordCount.java，右鍵-->Run As-->Run Configurations?
②在彈出的Run Configurations對話框中，點Java Application，右鍵-->New，這時會新建一個application名為WordCount?
③配置運行參數，點Arguments，在Program arguments中輸入“你要傳給程序的輸入文件夾和你要求程序將計算結果保存的文件夾”，如：

然后點擊run；

如果顯示如下，說明已經成功在myeclipse下運行第一個MapReduce程序了。?

Bye?1????

Goodbye?1????

Hadoop??2????

Hello???2????

World???2 ?

?4、問題解決

如果遇到Hadoop?PriviledgedActionException: Failed to set permissions；

請下載hadoop-core-1.2.1.jar.pdf，替換掉hadoop目錄下的hadoop-core-1.2.1 .jar文件，即可。

轉載于:https://www.cnblogs.com/liudmblog/p/3920328.html

總結

以上是生活随笔為你收集整理的windows下hadoop的单机伪分布式部署（3）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。