2019獨角獸企業(yè)重金招聘Python工程師標準>>>

Hadoop集群搭建方式：

????????????????1.1????確定部署三個節(jié)點，分別是hadoop0，hadoop1，hadoop2。

???????????????????????? 其中hadoop0是主節(jié)點(NameNode、JobTracker、SecondaryNamenode)，hadoop1、hadoop2是從節(jié)

???????????????????????? 點(DataNode、TaskTracker)。

????????????????1.2????解壓的Linux鏡像文件，配置Linux初始化環(huán)境，參見Hadoop偽分布環(huán)境搭建(26)。

????????????????1.3????在hadoop0上刪除/usr/local/hadoop目錄下的logs和tmp文件夾。

???????????????????????? 在刪除之前先要關(guān)閉hadoop0上的偽分布的hadoop。操作：stop-all.sh

????????????????1.4????設(shè)置各節(jié)點之間的ssh免密碼登錄

???????????????????????? (1)在hadoop1上，把hadoop1上的公鑰復制給hadoop0，執(zhí)行命令ssh-copy-id -i hadoop0

???????????????????????? (2)在hadoop2上，把hadoop2上的公鑰復制給hadoop0，執(zhí)行命令ssh-copy-id -i hadoop0

???????????????????????? (3)把hadoop0上的authorized_keys復制到hadoop1，hadoop2，執(zhí)行命令

????????????????????????????????scp????/root/.ssh/authorized_keys????hadoop1:/root/.ssh

????????????????????????????????scp????/root/.ssh/authorized_keys????hadoop2:/root/.ssh

????????????????1.5????在hadoop0上修改文件/etc/hosts，內(nèi)容修改后如下：

????????????????????????????192.168.80.100? hadoop0
?? ???????????????????????? 192.168.80.101? hadoop1
?? ?????????????????????????192.168.80.102? hadoop2

????????????????1.6????復制hadoop0上的/etc/hosts下的配置到其他hadoop1和hadoop2節(jié)點。

????????????????1.7????復制hadoop0上的/usr/local/jdk、/usr/local/hadoop到hadoop1、hadoop2的對于目錄下。

???????????????????????? scp????-r????/usr/local/jdk????????hadoop1:/usr/local

???????????????????????? scp????-r????/usr/local/jdk????????hadoop2:/usr/local

???????????????????????? scp????-r????/usr/local/hadoop????hadoop1:/usr/local

???????????????????????? scp????-r????/usr/local/hadoop????hadoop2:/usr/local

????????????????1.8????復制hadoop0上的/etc/profile到hadoop1、hadoop2上。

???????????????????????? scp????hadoop0:/etc/profile????hadoop1:/etc/profile

???????????????????????? scp????hadoop0:/etc/profile????hadoop2:/etc/profile

???????????????????????? 并且還要在hadoop1、hadoop2上分別執(zhí)行source????/etc/profile

????????????????1.9????修改集群的配置信息，修改hadoop0節(jié)點的配置信息，其他節(jié)點不必修改

???????????????????????? (1)NameNode節(jié)點的位置在配置文件$HADOOP_HOME/conf/core-site.xml中fs.default.name定義的。

???????????????????????? (2)JobTracker節(jié)點的位置在配置文件$HADOOP_HOME/conf/mapred-site.xml中mapred.job.tracker定

???????????????????????????? 義的。

???????????????????????? (3)SecondaryNameNode節(jié)點的位置在配置文件$HADOOP_HOME/conf/masters定義的，內(nèi)容修改為???????????????????????????????? hadoop0。

???????????????????????? (4)DataNode和TaskTracker節(jié)點的位置在配置文件$HADOOP_HOME/conf/slaves定義的，內(nèi)容修改為

????????????????????????????? hadoop1、hadoop2。

??? ??????????? 1.10????在hadoop0上執(zhí)行格式化命令hadoop namenode -format

????????????????1.11????在hadoop0上啟動集群，執(zhí)行命令start-all.sh

????????????????動態(tài)增加新的從節(jié)點的方法：

????????????????2.1????確定hadoop0作為從節(jié)點。

????????????????2.2????修改hadoop0上的slaves文件，增加hadoop0。

????????????????2.3????在hadoop0上啟動DataNode、TaskTracker進程，執(zhí)行命令：

????????????????????????????????????hadoop-daemon.sh???? start????datanode

????????????????????????????????????hadoop-daemon.sh???? start????tasktracker

????????????????2.4????在hadoop0上刷新集群節(jié)點結(jié)構(gòu)，執(zhí)行命令

????????????????????????????hadoop????dfsadmin????-refreshNodes

????????????????3.0????修改副本數(shù)

????????????????????????????hadoop fs -setrep????2 ????/hello

????????????????4.0????安全模式

????????????????????????????集群在剛啟動時，會進入安全模式，默認是30秒鐘。

????????????????????????????在安全模式下，系統(tǒng)對block進行檢查。

????????????????????????????在安全模式期間，禁止客戶端的create、delete操作。

????????????????????????????hadoop????dfsadmin????-safeMode????leave | get | enter

????????????????????????????????????????????????????????????????????????????????????????????????????????????????

????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????Name：Xr

????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????Date：2014-03-19 22:11

轉(zhuǎn)載于:https://my.oschina.net/Xiao629/blog/209812

總結(jié)

以上是生活随笔為你收集整理的Hadoop集群搭建(27)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。