1.實驗目的

初步認識Hadoop，了解Hadoop。

2.實驗平臺

操作系統(tǒng)：Windows+Vmware

3.實驗內(nèi)容和要求

Linux系統(tǒng)JDK的安裝和配置；

Linux系統(tǒng)下的HelloWorld；

Hadoop單機分布式配置與測試；

4.實驗報告

Linux系統(tǒng)JDK的安裝和配置；

首先將jkd文件拷到linux系統(tǒng)/simple目錄下

執(zhí)行tar -xvf jdk-8u191-linux-x64.tar.gz

編輯/etc/profile文件

執(zhí)行source /etc/profile

執(zhí)行java，javac，java –version查看是否正確

Linux系統(tǒng)下的HelloWorld；

執(zhí)行cd /simple

執(zhí)行vi HelloWorld.java內(nèi)容如下

public class HelloWorld {

public static void main(String[] args) {

System.out.println("HelloWorld");

}

}

Linux下HelloWorld完成

Hadoop單機分布式配置與測試；

先將Hadoop文件拷到/simple下

執(zhí)行tar -xvf hadoop-2.7.1.tar.gz

編輯/etc/profile文件

執(zhí)行執(zhí)行source /etc/profile

切換到/simple/hadoop-2.7.1/etc/hadoop目錄下

編輯hadoop-env.sh文件，在文件內(nèi)添加export JAVA_HOME=/simple/jdk1.8.0_191/

?

在/simple/hadoop-2.7.1/bin下新建一個input目錄mkdir input

將/simple/hadoop-2.7.1/etc/hadoop目錄下所有以.xml文件拷貝到/simple/input下

命令為cp /simple/hadoop-2.7.1/etc/hadoop/*.xml? input

執(zhí)行hadoop jar /simple/hadoop-2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar grep? input output 'number' 這條命令是查找一下input目錄文件內(nèi)容中number出現(xiàn)的次數(shù)，將結果保存在output目錄下part-r-00000文件中，查看一下

顯示出現(xiàn)五次，我們用命令產(chǎn)看一下結果對不對

發(fā)現(xiàn)number出現(xiàn)的次數(shù)就是五次，

Hadoop單機分布式配置與測試到這就完成了。

Hadoop偽分布式配置與測試；

這個實驗在上個實驗基礎上做，

在 $HADOOP_HOME/etc/hadoop 目 錄 下 執(zhí) 行 編輯core-site.xml配 置 文 件

修改 core-site.xml 的 內(nèi)容如下

在 $HADOOP_HOME/etc/hadoop 目 錄 下 執(zhí) 行編輯 hdfs-site.xml 并 修 改 配 置 文 件 hdfs-site.xml修改內(nèi)容如下

??? 在$HADOOP_HOME/etc/hadoop 目錄下查看是否有配置文件 mapred-site.xml。目錄下 默 認 情 況 下 沒 有 該 文 件 ， 可 通 過 執(zhí) 行 如 下 命 令 ： cp mapred-site.xml.template mapred-site.xml備份文件并重命名，然后執(zhí)行編輯文件mapred-site.xml 并修 改該文件

內(nèi)容如下

在$HADOOP_HOME/etc/hadoop 目錄下編輯yarn-site.xml配置文件內(nèi)容如下

格式化 namenode。在任意目錄下執(zhí)行如下命令進行格式化：hdfs namenode -format 或者 hadoop namenode -format 。 如圖 ?所示

啟動 hadoop， 首先啟動 hdfs：start-all.sh輸入密碼就行了

完成后輸入jps

測 試 hdfs 和 yarn （ 推 薦 火 狐 瀏 覽 器 ）， 首 先 在 瀏 覽 器 地 址 欄 中 輸 入 ：

http://192.168.125.128:50070 （HDFS 管理界面）（本 IP 為自己虛擬機上面的 IP，端口不變）

在瀏覽器的地址欄中輸入：http://192.168.125.128:8088 （MR 管理界面）（本 IP 為自

己虛擬機上面的 IP，端口不變）。如圖 所示

Hadoop偽分布式配置與測試完成

5.實驗總結

????????????? Jdk的配置與HelloWorld的編寫很簡單，大家曾經(jīng)都做過，應該不會有問題。Hadoop單機分布式配置與測試，這個配置很簡單，就配置一下環(huán)境變量，可能有人在最后一步執(zhí)行命令出現(xiàn)地址解析錯誤，修改一下/etc/hosts問價，將127.0.0.1指向本機主機名就行了。

總結

以上是生活随笔為你收集整理的实验10.  Hadoop环境搭建的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。