Hadoop完全分布式環境搭建

ps:本人是按照尚硅谷的教程搭建的，版本hadoop2.7，centos版本6，一臺主機，兩臺從機。

一．版本問題
1.盡量使用hadoop版本2，盡量不要使用最新版本3。因為會出現無法解決的問題，老師和網上給的配置方案基本都是基于hadoop2.6或hadoop2.7，所有用hadoop3在群起集群時會出現問題。

二．虛擬機準備工作
1.關閉虛擬機防火墻，以免出現因防火墻出現的問題(比如后面時間同步時)：
查看防火墻狀態：service iptables status
永久關閉防火墻：chkconfig iptables off （重啟后生效）
2.設置靜態IP
需查看自己VM的虛擬網絡net8的IP地址以及網關。（重啟后生效）

3.修改主機名，添加主機名與IP的映射。映射后可以直接ping主機名。（重啟后生效）
查看hosts（W / L）
C:\Windows\system32\drivers\etc hosts
如果沒做，cmd不能直接ping 主機名；Web訪問不能直接用主機名。

4.安裝配置jdk、hadoop；
(1).可以把虛擬機默認的jdk卸載。

(2). 解壓完后，修改jdk,hadoop文件名，方便環境變量配置(多出使用)。
mv 原文件名 新文件名

5.安裝Xshell，無法上傳文件到Linux:
(輸入rz命令無響應)
安裝lrzsz方便兩個不同系統上傳(rz)、下載(sz)文件：
yum provides */rz
yum install -y lrzsz

6.克隆3臺機器：（克隆后不能馬上使用這三臺機器）
修改內容：
（1）vim /etc/udev/rules.d/70-persistent-net.rules
dd刪除

shift+$,改eth1為eth0

復制地址

注意：service network restart

（2）vim /etc/sysconfig/network-scripts/ifcfg-eth0
粘貼HWADDR
修改IPADDR為本機地址

（3）vim /etc/sysconfig/network
修改主機名

查看hosts（W / L）

注意：重啟生效(reboot)

二．集群配置
1.忘記拷貝配置文件
方法一：scp（secure copy）安全拷貝：scp可以實現服務器與服務器之間的數據拷貝
拷貝hadoop安裝文件到集群slave節點
scp -r /usr/local/hadoop-2.6.5 slave1:/usr/local
scp -r /usr/local/hadoop-2.6.5 slave2:/usr/local
scp -r /usr/local/hadoop-2.6.5 slave3:/usr/local

方法二. 在主機上編寫xsync集群分發腳本：
（1）解決集群文件配置的一致性。
需求：循環復制文件到所有節點的相同目錄下，可以同步所有結點的文件。
方便修改，不用挨個去改（比如將NameNode等分開放）。
（2）創建腳本：
在/home目錄下創建bin目錄，并在bin目錄下xsync創建文件

（3）修改權限：
chmod 777 xsync

2.多次格式化NameNode導致NameNode和DataNode進程不能同時工作：
格式化NameNode，會產生新的集群id，導致 DateNode的集群id不一致，集群找不到以往數據。所以，第二次格式NameNode時，一定要先刪除data數據和log日志，然后再格式化NameNode。

3.SSH沒有配置好。
所有機器都要拷貝，拷貝后生成Authorized_keys(授權keys)文件，因為只要需要判斷要不要密碼，都會去找Authorized_keys文件。

4.配置文件修改不仔細。

四．啟動集群
1.jps不生效。
原因：全局變量hadoop、java沒有生效。解決辦法：需要source /etc/profile文件。
2.(個別機器)start(stop)-all.sh 無法啟動Recesourmanager
修改：start(stop)-yarn.sh
將daemon加s

五．Web端口
1.hadoop版本3端口為：9870
2.hadoop版本2端口為：50070

總結

以上是生活随笔為你收集整理的Hadoop完全分子式环境搭建—问题及解决办法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。