一、添加插件

將hadoop-eclipse-plugin-2.7.5.jar放入eclipse的plugins文件夾中

二、在Windows上安裝Hadoop2.7.5

版本最好與Linux集群中的hadoop版本保持一致

1、將hadoop-2.7.5-centos-6.7.tar.gz解壓到Windows上的C盤software目錄中

2、配置hadoop的環(huán)境變量

HADOOP_HOME=C:\software\hadoop-2.7.5

Path=C:\software\hadoop-2.7.5\bin

3、修改Hadoop安裝目錄C:\software\hadoop-2.7.5\etc\hadoop中hadoop-env.cmd

4、查看Hadoop版本

5、添加Windows支持文件

因為安裝的Hadoop編譯的版本是CentOS6.7的版本，在Windows上運行需要添加文件

1)winutils.exe 放在windows平臺中你安裝的hadoop的bin目錄下

2)? hadoop.dll 放在windows操作系統(tǒng)的 c:/windows/system32目錄下

6、重新啟動eclipse

三、eclipse中的配置

1、重新啟動eclipse,打開windows->Preferences的Hadoop Map/Reduce中設(shè)置安裝目錄

2、打開Windows->Open Perspective中的Map/Reduce，在此perspective下進(jìn)行hadoop程序開發(fā)

3、打開Windows->Show View中的Map/Reduce Locations，如下圖右鍵選擇New Hadoop location…新建hadoop連接。

4、配置相關(guān)信息

5、配置成功之后再右側(cè)顯示如下

四、創(chuàng)建HDFS項目

1、創(chuàng)建一個java project

2、添加jar包這里使用第二種

有三種方式可以往項目中添加jar依賴:

1)直接創(chuàng)建一個lib文件夾，然后放入對應(yīng)的依賴包，最后add build path

優(yōu)點：移植方便

缺點：項目臃腫

2)在eclipse中創(chuàng)建user libarary, 然后引入

優(yōu)點：解決了不同項目中的相同jar的重復(fù)依賴問題， 不是直接放入，是引入的方式

缺點：移植不方便

3)最后直接使用maven管理jar依賴

完美解決方案：使用maven 我們在項目中只需要編寫好：pom.xml文件即可

目前只是操作HDFS，所以只需要引入common和HDFS相關(guān)的jar包即可。

Hadoop的common、hdfs、MapReduce、yarn的相關(guān)jar包的位置在安裝目錄的C:\software\hadoop-2.7.5\share\hadoop文件夾中，各自文件夾下的jar包是核心jar包，lib下的jar包是核心jar包的依賴jar包，都需要引入

hdfs的jar包用相同的方法引入

這樣項目就成功引入了common和hdfs相關(guān)的jar包

3、創(chuàng)建測試類

packagecn.study.hdfs;importjava.net.URI;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileSystem;importorg.apache.hadoop.fs.Path;public classTestHdfsDemo1 {public static void main(String[] args) throwsException {

Configuration conf= newConfiguration();

FileSystem fs= FileSystem.get(new URI("hdfs://hadoop1:9000"),conf,"hadoop");//System.out.println(fs instanceof DistributedFileSystem);//true

fs.copyFromLocalFile(new Path("D:/abc.txt"), new Path("/a/"));

fs.close();

}

}

View Code

測試之前

測試之后

總結(jié)

以上是生活随笔為你收集整理的java 工程新建ivy文件_Hadoop学习之路（八）在eclispe上搭建Hadoop开发环境的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。