1 新增Data節(jié)點

1.1 修改/etc/hosts，增加datanode的ip?

1.2 在新增加的節(jié)點啟動服務(wù)

hadoop-daemon.sh start datanode yarn-daemon.sh start nodemanager

1.3 均衡block

start-balancer.sh

1）如果不balance，那么cluster會把新的數(shù)據(jù)都存放在新的node上，這樣會降低mapred的工作效率?
2）設(shè)置平衡閾值，默認是10%，值越低各節(jié)點越平衡，但消耗時間也更長?

start-balancer.sh -threshold 5

?

2 刪除節(jié)點

2.1 修改修改conf/hdfs-site.xml文件中的 ?“dfs.hosts.exclude“，確定要下架的機器，dfs.hosts.exclude定義的文件內(nèi)容為,每個需要下線的機器，一行一個。這個將阻止他們?nèi)ミB接Namenode。如：?

slave-001 slave-002

2.2 強制重新加載配置

hadoop dfsadmin -refreshNodes

2.3 關(guān)閉節(jié)點

等待上面的操作結(jié)束后，需要下架的機器就能安全的關(guān)閉了

2.4 查看機群概況

hadoop dfsadmin -report

2.5 再次編輯conf/hdfs-site.xml文件，修改dfs.hosts.exclude，將下架的機器移除

?

轉(zhuǎn)載于:https://www.cnblogs.com/liuchangchun/p/4716473.html

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的Hadoop 新增删除节点的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。