CentOS 6 安裝Hadoop 2.6 （一）準備工作
CentOS 6 安裝Hadoop 2.6 （二）配置Hadoop
CentOS 6 安裝Hadoop 2.6 （三）問題收集
CentOS 6 安裝Hadoop 2.6 （四）運行簡單例子

下文服務器描述：一個主節點master，2個從節點slave1和slave2。

1. 解壓文件

tar -xzvf hadoop-2.6.4.tar.gz mv hadoop-2.6.4 /opt/

2. 配置環境變量

vi etc/profile

到末尾增加以下內容

HADOOP_HOME=/opt/hadoop-2.6.4 PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

更新文件：

source /etc/profile

在其他服務器上也執行類似操作。

3.修改配置

cd /opt/hadoop-2.6.4/etc/hadoop

(1) hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_77 export HADOOP_PREFIX=/opt/hadoop-2.6.4

(2) yarn-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_77

(3) core-site.xml

<configuration><property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property><property><name>hadoop.tmp.dir</name><value>/opt/hadoop-2.6.4/tmp</value></property> </configuration>

請先建立/opt/hadoop-2.6.4/tmp文件夾

(4) hdfs-site.xml

<configuration><property><name>dfs.namenode.secondary.http-address</name><value>master:9001</value></property><property><name>dfs.namenode.name.dir</name><value>/opt/hadoop-2.6.4/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>/opt/hadoop-2.6.4/dfs/data</value></property><property><name>dfs.webhdfs.enabled</name><value>true</value></property><property><name>dfs.replication</name><value>2</value></property> </configuration>

請先建立/opt/hadoop-2.6.4/dfs/data與/opt/hadoop-2.6.4/dfs/name文件夾

(5) mapred-site.xml

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property> </configuration>

(6) yarn-site.xml

<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property><property><name>yarn.resourcemanager.address</name><value>master:8032</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>master:8030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>master:8035</value></property><property><name>yarn.resourcemanager.admin.address</name><value>master:8033</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>master:8088</value></property> </configuration>

(7) slaves

slave1 slave2

將從節點的hostname寫入這個文件

4. 拷貝到其他主機

每臺服務器的Hadoop目錄地址需要完全一致
將配置好的hadoop拷貝slave1和slave2：

scp -r /opt/hadoop-2.6.4 root@slave1:/opt/ scp -r /opt/hadoop-2.6.4 root@slave2:/opt/

請注意上文中提到的文件夾在從節點中是否都已經建立好（由于上面的例子數據文件夾在hadoop文件夾中，所以就不需要自己在從節點重新建立）

5. 運行Hadoop

（1）格式化數據節點

在各個節點上都要執行

hdfs namenode -format //由于上文已經配置了path，所以直接運行hdfs

（2）啟動dfs

start-dfs.sh

用jps檢查master是否存在以下進程

23194 SecondaryNameNode 23023 NameNode

用jps檢查slave是否存在以下進程

18652 DataNode

（3）啟動yarn

start-yarn.sh

用jps檢查master是否新增了以下進程

23451 ResourceManager

用jps檢查slave是否新增了以下進程

18910 NodeManager

（4）訪問管理網頁

地址一：http://你的masterIP地址:8088/
檢查該地址是否可以正常訪問，并且Nodes標簽中是否可以看到2個slave節點
地址二：http://你的masterIP地址:50070/
檢查該地址是否可以正常訪問，以及Overview后面跟的是否是’master:9000’ (active)，如果顯示localhost可能就有問題了。再檢查Live Nodes中是否有2個slave節點。

總結

以上是生活随笔為你收集整理的CentOS 6 安装Hadoop 2.6 （二）配置Hadoop的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。