寫在前面：

我的博客已遷移至自建服務器：博客傳送門，CSDN博客暫時停止，如有機器學習方面的興趣，歡迎來看一看。

此外目前我在gitHub上準備一些李航的《統計學習方法》的實現算法，目標將書內算法全部手打實現，歡迎參觀并打星。GitHib傳送門

1.分析

1）準備一臺客戶機
2）安裝jdk
3）配置環境變量
4）配置集群
5）啟動、測試集群增、刪、查
6）執行wordcount案例

2.執行步驟

1）配置文件

a.配置hadoop-env.sh
Linux 系統中獲取 jdk 的安裝路徑：

echo $JAVA_HOME

得到路徑：/opt/module/jdk1.8.0_144
修改 JAVA_HOME 路徑：

export JAVA_HOME=/opt/module/jdk1.8.0_144

b.配置core-site.xml
在文件的末尾與之間插入以下內容：

<!-- 指定 HDFS 中 NameNode 的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop101:9000</value> </property> <!-- 指定 hadoop 運行時產生文件的存儲目錄 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/module/hadoop-2.7.2/data/tmp</value> </property>

c.配置hdfs-site.xml
在文件的末尾與之間插入以下內容：

<!-- 指定 HDFS 副本的數量 --> <property> <name>dfs.replication</name> <value>1</value> </property>

2）啟動集群

（a） 格式化 namenode（第一次啟動時格式化，以后就不要總格式化）

[atguigu@hadoop101 hadoop-2.7.2]$ bin/hdfs namenode -format

（b） 啟動 namenode

[atguigu@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode

（c） 啟動 datanode

[atguigu@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode

（3）查看集群

（a） 查看是否啟動成功

[atguigu@hadoop101 hadoop-2.7.2]$ jps 13586 NameNode 13668 DataNode 13786 Jps

（b） 查看產生的 log 日志
當前目錄： /opt/module/hadoop-2.7.2/logs

[atguigu@hadoop101 logs]$ ls hadoop-atguigu-datanode-hadoop.atguigu.com.log hadoop-atguigu-datanode-hadoop.atguigu.com.out hadoop-atguigu-namenode-hadoop.atguigu.com.log hadoop-atguigu-namenode-hadoop.atguigu.com.out SecurityAuth-root.audit [atguigu@hadoop101 logs]# cat hadoop-atguigu-datanode-hadoop101.log

（c） web 端查看 HDFS 文件系統
http://192.168.1.101:50070/dfshealth.html#tab-overview
注意：如果不能查看，看如下帖子處理
http://www.cnblogs.com/zlslch/p/6604189.html

（4）操作集群

（a） 在 hdfs 文件系統上創建一個 input 文件夾

[atguigu@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -mkdir -p /user/atguigu/input

（b） 將測試文件內容上傳到文件系統上

[atguigu@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -put wcinput/wc.input /user/atguigu/input/

（c） 查看上傳的文件是否正確

[atguigu@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -ls /user/atguigu/input/ [atguigu@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -cat /user/atguigu/ input/wc.input

（d）運行 mapreduce 程序

[atguigu@hadoop101 hadoop-2.7.2]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/atguigu/input/ /user/atguigu/output

（e） 查看輸出結果
命令行查看：

[atguigu@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -cat /user/atguigu/output/*

總結

以上是生活随笔為你收集整理的Hadoop伪分布式运行案例的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。