bigbrother的補充單節點hdfs搭建好后搭建mapredce
1、環境文件的配置
（1）hadoop已經配置了一個環境變量文件
hadoop-env.sh在里面修改了javahome
（2）再把map，yarn的環境文件配置一下
修改map的env.sh文件
默認如圖，記得把注釋刪除掉
改為下圖
（3）修改yarn的環境文件
類似的修改如下：

2、配置map的配置文件

首先先把模板copy一份變為可以生效的xml
使用的框架為yarn 另外可以選擇的還有classic和local
修改etc/hadoop/mapred-site.xml:

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property> </configuration>

3、修改 etc/hadoop/yarn-site.xml:
單節點：

<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.hostname.rm1</name><value>node1</value> </property><property><name>yarn.resourcemanager.webapp.address.rm1</name><value>node1:8088</value> </property>

四節點：

<configuration><!—讓yarn啟動服務支持map任務和reduce任務container之間的通信，洗牌 HTTP GET 由nodemanager統一管理的--><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!-啟用ResourceManager的高可用--> <property><name>yarn.resourcemanager.ha.enabled</name><value>true</value> </property> <!—指代ResourceManager HA的兩臺RM的邏輯名稱 --> <property><name>yarn.resourcemanager.cluster-id</name><value>Mycluster</value> </property> <!--指定該高可用ResourceManager下的兩臺ResourceManager的邏輯名稱--> <property><name>yarn.resourcemanager.ha.rm-ids</name><value>rm1,rm2</value> </property> <!—指定第一臺ResourceManager服務器所在的主機名稱 --> <property><name>yarn.resourcemanager.hostname.rm1</name><value>node3</value> </property> <property><name>yarn.resourcemanager.hostname.rm2</name><value>node4</value> </property> <!—指定resourcemanager的web服務器的主機名和端口號--> <property><name>yarn.resourcemanager.webapp.address.rm1</name><value>node3:8088</value> </property> <property><name>yarn.resourcemanager.webapp.address.rm2</name><value>node4:8088</value> </property> <!—做ResourceManager HA故障切換用到的zookeeper集群地址 --> <property><name>yarn.resourcemanager.zk-address</name><value>node2:2181,node3:2181,node4:2181</value> </property> </configuration>

4、訪問頁面測試
active激活的節點有一個我這個是單節點的所以是這樣的，下面的是任務的詳情，succeed證明任務已經完成了
5、開啟mapreduce任務
參考文件：
https://blog.csdn.net/jjjjjjabnannnan/article/details/110239351

總結

以上是生活随笔為你收集整理的bigbrother的补充单节点hdfs搭建好后搭建mapredce的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。