HDFS/zookeeper/hbase初始化
①關(guān)閉hadoop集羣
②hdfs namenode -format
③啓動(dòng)hadoop集羣
那如果我只是刪除了name文件夾然后進(jìn)行上述的初始化了,那么datanode就會(huì)起不來,會(huì)碰到下面這樣的報(bào)錯(cuò):
$HADOOP_HOME/logs
hadoop-appleyuchi-datanode-Desktop.log:2020-05-22 09:59:15,641 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid e19cb4f5-b2d1-4b1e-89f5-1c83393cc371) service to Desktop/192.168.0.103:9000. Exiting.?
?
如果集群節(jié)點(diǎn)數(shù)量太多的話,注意不要使用scp文件到各個(gè)節(jié)點(diǎn)替換的方式,因?yàn)闀?huì)覆蓋其他參數(shù)。
解決方案是:
集群中的每個(gè)節(jié)點(diǎn)的data node文件夾中的VERSION文件中的clusterID都要修改成和下面的
/home/appleyuchi/dfs/name/current/VERSION的clusterID一致。
不要去刪除datanode然后初始化,因?yàn)槟菢拥脑?#xff0c;數(shù)據(jù)就都沒了。
?
#--------------zookeeper和hbase初始化---------------------------
①啟動(dòng)zookeeper時(shí)會(huì)發(fā)現(xiàn)log中有報(bào)錯(cuò):
java.io.IOException: ZooKeeperServer not running
刪除集群中每個(gè)節(jié)點(diǎn)/home/appleyuchi/dfs/zookeeper(每個(gè)節(jié)點(diǎn)這里的名字都不同)/data/version-2下面的所有文件
②再次啟動(dòng)報(bào)錯(cuò):
java.io.IOException: No snapshot found, but there are log entries. Something is broken!
刪除集群中每個(gè)節(jié)點(diǎn)/home/appleyuchi/dfs/zookeeper(每個(gè)節(jié)點(diǎn)這里的名字都不同)/log/version-2下面的所有文件
③再次啟動(dòng)后輸入hbase hbck報(bào)錯(cuò):
KeeperErrorCode = NoNode for /hbase/hbaseid
$ZOOKEEPER/bin/zkCli.sh
deleteall /hbase
確保集群中每個(gè)zookeeper的啟動(dòng)節(jié)點(diǎn)正常,然后再啟動(dòng)hbase(切記!)
?
總結(jié)
以上是生活随笔為你收集整理的HDFS/zookeeper/hbase初始化的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 「常识」活性炭口罩能防甲醛吗
- 下一篇: The procedure WAL re