一、環(huán)境準(zhǔn)備

1）jdk（hadoop是由java語言編寫的）
2） 防火墻關(guān)閉（iptables,selinux）
3）設(shè)置主機(jī)名，以及ip映射
4）設(shè)置時(shí)鐘同步
5）設(shè)置免密登錄
6）windows配置ip映射
說明：具體操作參照上兩篇博客（集群環(huán)境搭建和zookeeper搭建）

二、搭建hadoop集群

1、解壓hadoop的cdh預(yù)編譯版本的安裝包到esport/server

2、進(jìn)行hdfs和yarn中的節(jié)點(diǎn)規(guī)劃，具體哪些節(jié)點(diǎn)部署到哪臺(tái)機(jī)器上

3.修改三類配置文件(/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/路徑在這里插入代碼片下)

a) 第一類配置文件——shell腳本(保證hadoop可以加載到j(luò)dk)

vim hadoop-env.sh

b) 第二類配置文件——主角色
配置了4個(gè)xml文件（分別描述了4個(gè)模塊）

• core-site.xml 是common模塊

  vim core-site.xml

• hdfs-site.xml 是hdfs模塊

指定hdfs副本的數(shù)量，默認(rèn)是3，我們修改為2（包括源文件，總共是2） 指定secondaryManager的部署位置以及端口號

vim hdfs-site.xml

• 指定mr運(yùn)行時(shí)的框架 執(zhí)行在yarn中運(yùn)行

先修改配置文件的名字將mapred-site.template.xml修改為mapred-site.xml

mv mapred-site.template.xml mapred-site.xml

在該配置文件中配置

• yarn-site.xml

  vim yarn-site.xml

指定yarn的主角色的地址，以及nodemanager上運(yùn)行的附屬服務(wù)

c第三類配置文件——從角色

vim slaves

作用：配合一鍵啟動(dòng)腳本 到slaves指定的機(jī)器上啟動(dòng)hdfs和yarn集群的從角色
-通過 dfs.hosts 指定的slaves文件中的機(jī)器才可以加入hadoop集群 白名單

上述操作完成主節(jié)點(diǎn)的配置，然后scp復(fù)制到其他機(jī)器上

cd /export/servers/ scp -r hadoop-2.6.0-cdh5.14.0/ node-2:$PWD scp -r hadoop-2.6.0-cdh5.14.0/ node-3:$PWD

4、添加hadoop環(huán)境變量

vim /etc/profile

5.啟動(dòng)前的初始化

說明：首次啟動(dòng)集群時(shí)，需要針對HDFS進(jìn)行初始化操作，因?yàn)橛幸恍┪募夸洸淮嬖?#xff0c;該操作只需要進(jìn)行一次，通常在namenode所在節(jié)點(diǎn)進(jìn)行
該初始化操作（format）主要?jiǎng)?chuàng)建了hadoop運(yùn)行時(shí)依賴的一些文件夾和文件
注意：不能多次初始化，如果多次，主角色的角色將互不識(shí)別，之前的元數(shù)據(jù)丟失（因?yàn)槊恳淮纬跏蓟瘯?huì)自動(dòng)生成一個(gè)新的version，會(huì)有新的集群標(biāo)識(shí)clusterID）

hadoop namenode -format

6、集群啟動(dòng)
啟動(dòng)hdfs集群

start-dfs.sh

啟動(dòng)yarn集群

start-yran.sh

啟動(dòng)成功之后就可以訪問hadoop提供的對應(yīng)的web-ui頁面
hdfs啟動(dòng)成功之后訪問http://node02:50070（node02是namenode所在節(jié)點(diǎn)的名字或者ip）
yarn啟動(dòng)成功之后訪問http://node02:8088 (node02是resourcemanager所在節(jié)點(diǎn)的名字)

總結(jié)

以上是生活随笔為你收集整理的linux系统——hadoop环境搭建的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。