目錄

?

• 目錄
• 實(shí)驗(yàn)環(huán)境
• 安裝 Hadoop
• 配置文件
• 在另外兩臺(tái)虛擬機(jī)上搭建hadoop
• 啟動(dòng)hdfs集群
• 啟動(dòng)yarn集群

?

本文主要是在上節(jié)CentOS集群基礎(chǔ)上搭建Hadoop集群。

實(shí)驗(yàn)環(huán)境

• Hadoop版本：CDH 5.3.6

*本實(shí)驗(yàn)項(xiàng)目所需軟件均可在百度網(wǎng)盤鏈接：http://pan.baidu.com/s/1dFeNR6h?密碼：1zx4中獲取。

安裝 Hadoop

上傳hadoop文件到/usr/local目錄下

rz

解壓

tar -zxvf hadoop-2.5.0-cdh5.3.6.tar.gz

刪除tar包

rm -rf hadoop-2.5.0-cdh5.3.6.tar.gz

重命名?

mv hadoop-2.5.0-cdh5.3.6 hadoop?

設(shè)置環(huán)境變量

vi ~/.bashrc export HADOOP_HOME=/usr/local/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin

生效設(shè)置

source ~/.bashrc

• 1

• 1

測(cè)試

hadoop hadoop versionyarn yarn version

?
?

創(chuàng)建/usr/local/data目錄?

配置文件

修改core-site.xml文件

cd /hadoop/etc/hadoop ls vi core-sie.xml

<property><name>fs.default.name</name> <value>hdfs://sparkproject1:9000</value> </property>

修改hdfs-site.xml

<property><name>dfs.name.dir</name> <value>/usr/local/data/namenode</value> </property> <property> <name>dfs.data.dir</name> <value>/usr/local/data/datanode</value> </property> <property> <name>dfs.tmp.dir</name> <value>/usr/local/data/tmp</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property>

修改mapred-site.xml

cp mapred-site.xml.template mapred-site.xml vi mapred-site.xml <property><name>mapreduce.framework.name</name> <value>yarn</value> </property>

修改yarn-site.xml

<property><name>yarn.resourcemanager.hostname</name> <value>sparkproject1</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>

修改slaves

sparkproject2 sparkproject3

sparkproject1是主節(jié)點(diǎn)，sparkproject2和sparkproject3是從節(jié)點(diǎn)

在另外兩臺(tái)虛擬機(jī)上搭建hadoop

在sparkproject1上使用scp命令將配置好的文件傳輸?shù)搅硗鈨蓚€(gè)虛擬機(jī)上

cd /usr/local scp -r hadoop root@sparkproject2:/usr/local scp -r hadoop root@sparkproject3:/usr/local scp ~/.bashrc root@sparkproject2:~/ scp ~/.bashrc root@sparkproject3:~/

在sparkproject2和sparkproject3上分別執(zhí)行

source ~/.bashrc

在sparkproject2和sparkproject3的/usr/local目錄下創(chuàng)建data目錄

cd /usr/local mkdir data

啟動(dòng)hdfs集群

格式化namenode?
在sparkproject1上執(zhí)行

hdfs namenode –format

啟動(dòng)集群

start-dfs.sh

查看是否啟動(dòng)成功?

在瀏覽器中輸入sparkproject1:50070查看狀態(tài)?

上傳測(cè)試文件

vi hello.txt Hello world ! hdfs dfs -put hell.txt /hello.txt

在網(wǎng)頁(yè)端查看上傳的文件?

啟動(dòng)yarn集群

start-yarn.sh

• 1

• 1

使用jps檢查各節(jié)點(diǎn)啟動(dòng)狀態(tài)，sparkproject1上啟動(dòng)ResourceManager，sparkproject2和sparkproject3節(jié)點(diǎn)上啟動(dòng)NodeManager?

在瀏覽器中輸入sparkproject1：8088查看?

至此，hadoop集群搭建完成，下一步將安裝Hive。

更多文章：Spark大型電商項(xiàng)目實(shí)戰(zhàn)：http://blog.csdn.net/u012318074/article/category/6744423

轉(zhuǎn)載于:https://www.cnblogs.com/wanghuaijun/p/6860877.html

總結(jié)

以上是生活随笔為你收集整理的3.环境搭建-Hadoop（CDH）集群搭建的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。