?http://space.itpub.net/8183550/viewspace-686332

在MyEclipse 8.5環境下

編寫了一個HADOOP小程序。

創建Java 工程
打開eclipse，選擇“File -> New -> Java Project”，新建一個“Java Project”，進入“New Java
Project”對話框，將“Project name”設置為“DFSOperator”，

選中“DFSOperator”，并單擊右鍵，選擇“New -> Class”菜單，新建“Name”為“DFSOperator”
的class，并選中自動創建main 函數，

配置編譯參數
下面開始配置“Build Path”，選中“DFSOperator”，單擊右鍵，點擊下圖所示菜單“Build
Path -> Configure Build Path”，進入“Java Build Path”配置界面。
選擇“Libraries”標簽頁，點擊右側的“Add External JAR”按鈕，將安裝好的“hadoop－0.20.0-core.jar”

”commons-logging-1.0.4.jar“

添加進來。

源代碼
進入的“DFSOperator.java”文件編輯界面，將“DFSOperator.java”的內容修改成如下：

import java.io.*;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
public class DFSOperator {

?/**
? * @param args
? */
?public static void main(String[] args) {
??// TODO Auto-generated method stub
??Configuration conf = new Configuration();
??? try {
??? FileSystem fs = FileSystem.get(conf);
??? Path f = new Path("hdfs:///dfs_operator.txt");
??? FSDataOutputStream s = fs.create(f, true);
??? int i=0;
??? for (i=0; i<100000; ++i)
??? os.writeChars("test");
??? os.close();
??? } catch (IOException e) {
??? e.printStackTrace();
??? }
?}
}

編譯生成JAR
右鍵“DFSOperator”項目，選擇“Build Project”，編譯項目工程，編譯“DFSOperator.java”
后，生成DFSOperator.class 文件

右鍵項目，選擇“Export”：

進入“Export”對話框：

選中“JAR file”，然后點擊“Next”按鈕

，設置好JAR 包的文件名和存放位置，然后點擊“Finish”按鈕，生成
dfs_operator.jar 文件

然后將dfs_operator.jar 文件上傳到Hadoop Master 節點。

測試運行
假設Hadoop 安裝在/usr/local/hadoop 目錄下，dfs_operator.jar 存放在hadoop/bin 目錄下，
按照下圖所示的五步依次進行操作：

首先進入Hadoop 的bin 目錄，然后依次完成如下的五步操作：
(1) 查看當前目錄，檢查dfs_operator.jar 是否存在：ls
(2) 查看Hadoop 根目錄下是否存在dfs_operator.txt 文件：./hadoop fs -ls /
(3) 運行dfs_operator.jar，以生成dfs_operator.txt 文件：
./hadoop jar ./dfs_operator.jar DFSOperator
(4) 再查看Hadoop 根目錄下是否存在dfs_operator.txt 文件：./hadoop fs -ls /
(5) 檢查dfs_operator.txt 文件的內容：./hadoop fs -cat /dfs_operator.txt

?

總結

以上是生活随笔為你收集整理的编写第一个HADOOP应用程序的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。