===================主機環境配置開始===============================

step1：安裝VMware Workstation Pro

step2：安裝Ctenos7

step3：在VMware中更改虛擬機網絡類型為NAT方式（虛擬交換機的ip可以從vmvare的edit-->vertual network editor看到）

step4：修改網卡信息

#找到對應網卡
cd /etc/sysconfig/network-scripts/ vi ifcfg-ens32
#修改為static
BOOTPROTO=static
#修改為yes
ONBOOT=yes
#追加以下信息（NAT設置中可以找到IP填入）
GATEWAY=192.168.163.2
IPADDR=192.168.163.128
NETMASK=255.255.255.0
DNS1=114.114.114.114
DNS2=8.8.8.8
ARPCHECK=no

step5：重啟網絡服務?service network restart （重啟之后可以ping一下是否通）

step6：修改主機名?vi /etc/sysconfig/network 添加一列?HOSTNAME=cMaster?

step7：修改主機名與IP映射，在root身份下 vi /etc/hosts? 添加一行 192.168.2.100??? cMaster

step8：關閉防火墻；

#查看防火墻狀態 service iptables status #臨時關閉防火墻 service iptables stop #關閉防火墻自動啟動 chkconfig iptables off

======================主機環境完成================================

======================JDK安裝開始================================

step1：下載jdk

step2：解壓

step3：配置環境變量?vi /etc/profile （配置完成后執行?source /etc/profile 使其生效）

#配置環境變量 export JAVA_HOME=/home/ws/hadoopApp/jdk1.8.0_191 export HADOOP_HOME=/home/ws/hadoopApp/hadoop-3.0.2 export CLASSPATH=.:${JAVA_HOME}/lib.dt.jar:${JAVA_HOME}/lib/tools.jar

=====================JDK安裝完成================================

====================Hadoop安裝配置開始==========================

step1：下載Hadoop

step2：解壓

step3：配置hadoop-env.sh（其配置文件均在hadoop-3.0.2/etc/hadoop下）

#修改JAVA_HOME為自定義安裝的路徑
export JAVA_HOME=/home/ws/hadoopApp/jdk1.8.0_191

step4：配置?core-site.xml

#添加如下代碼<configuration><property><name>hadoop.tmp.dir</name><value>/home/ws/hadoopApp/cloudData</value></property><property><name>fs.defaultFS</name><value>hdfs://cMaster:9000/</value></property></configuration>

step5：配置hdfs-site.xml

#添加如下代碼<configuration> <property><name>dfs.replication</name><value>1</value> </property><property><name>dfs.http.address</name><value>192.168.163.128:50070</value> </property></configuration>

step6：配置mapred-site.xml（若文件名為mapred-site.xml.template，則先修改? mv mapred-site.xml.template mapred-site.xml?）

#添加如下代碼 <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>

step7：配置yarn-site.xml

#添加如下代碼 <configuration><!-- Site specific YARN configuration properties --> <property> <name>yarn.resourcemanager.hostname</name> <value>cMaster</value> </property><property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property></configuration>

step8：配置Hadoop環境變量（?vi /etc/profile 同java配置）

step9：創建公鑰 / 私鑰

#生成秘鑰 ssh-keygen -t rsa
#創建authorized_keys文件并修改權限為600 cd .ssh touch authorized_keys chmod 600 authorized_keys
#將公鑰追加到authorized_keys文件中去 cat id_rsa.pub >> authorized_keys
#嘗試能否成功免密登錄 ssh cMaster

step10：初始化（格式化）

?hadoop namenode -format?

step11：啟動

?start-dfs.sh

start-yarn.sh?

step12：查看

?jps?

step13：訪問web管理頁面

?#輸入IP地址+端口號（50070）如： 192.168.163.128:5007?

step14：window下修改主機和IP映射

文件地址：?C:\Windows\System32\drivers\etc\hosts

====================Hadoop安裝配置j結束==========================

====================MapReduce測試==============================

?

使用MapReduce自帶的統計詞匯程序進行測試

step1：在hdfs下建立一個文件夾用于裝輸入文本

hadoop fs -mkdir hdfs://cmaster:9000/wordcount/input

step2：將測試文件上傳

hadoop fs -put test.txt /wordcount/input

step3：找到測試jar包

#hadoop-mapreduce-examples-3.0.2.jar測試jar包所在路徑 cd /home/ws/hadoopApp/hadoop-3.0.2/share/hadoop/mapreduce/

step4：測試并將結果輸入到指定文件夾

hadoop jar hadoop-mapreduce-examples-3.0.2.jar wordcount /wordcount/input /wordcount/output

注：測試時若報下列錯誤

[2018-11-18 20:57:15.662]Container exited with a non-zero exit code 1. Error file: prelaunch.err. Last 4096 bytes of prelaunch.err : Last 4096 bytes of stderr : 錯誤: 找不到或無法加載主類 org.apache.hadoop.mapreduce.v2.app.MRAppMaster

解決辦法：

①輸入? hadoop classpath 得到classpath

②在yarn-site.xml 中添加下列代碼其中value就是classpath輸出結果

<property> <name>yarn.application.classpath</name> <value>/home/ws/hadoopApp/hadoop-3.0.2/etc/hadoop:/home/ws/hadoopApp/hadoop-3.0.2/share/hadoop/common/lib/*:/home/ws/hadoopApp/hadoop-3.0.2/share/hadoop/common/*:/home/ws/hadoopApp/hadoop-3.0.2/share/hadoop/hdfs:/home/ws/hadoopApp/hadoop-3.0.2/share/hadoop/hdfs/lib/*:/home/ws/hadoopApp/hadoop-3.0.2/share/hadoop/hdfs/*:/home/ws/hadoopApp/hadoop-3.0.2/share/hadoop/mapreduce/*:/home/ws/hadoopApp/hadoop-3.0.2/share/hadoop/yarn:/home/ws/hadoopApp/hadoop-3.0.2/share/hadoop/yarn/lib/*:/home/ws/hadoopApp/hadoop-3.0.2/share/hadoop/yarn/*</value> </property>

?

step5：查看結果

#查看目錄hadoop fs -ls /wordcount/output #查看結果文件hadoop fs -cat /wordcount/output/part-r-00000

或者在web端查看。

====================MapReduce測試結束==============================

?幾篇安裝參考網頁

https://blog.csdn.net/hliq5399/article/details/78193113

https://blog.csdn.net/boom_man/article/details/78192385

https://www.cnblogs.com/thousfeet/p/8618696.html

https://www.cnblogs.com/zhangyinhua/p/7647686.html#_lab2_0_1

轉載于:https://www.cnblogs.com/ws410/p/9979082.html

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的Hadoop的伪分布式安装的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。