1.準備zookeeper服務器

#node1,node2,node3 #安裝請參考http://suyanzhu.blog.51cto.com/8050189/1946580

2.準備NameNode節點

#node1,node4

3.準備JournalNode節點

#node2,node3,node4

4.準備DataNode節點

#node2,node3,node4 #啟動DataNode節點命令hadoop-daemon.sh?start?datanode

5.修改hadoop的hdfs-site.xml配置文件

<configuration><property><name>dfs.nameservices</name><value>yunshuocluster</value></property><property><name>dfs.ha.namenodes.yunshuocluster</name><value>nn1,nn2</value></property><property><name>dfs.namenode.rpc-address.yunshuocluster.nn1</name><value>node1:8020</value></property><property><name>dfs.namenode.rpc-address.yunshuocluster.nn2</name><value>node4:8020</value></property><property><name>dfs.namenode.http-address.yunshuocluster.nn1</name><value>node1:50070</value></property><property><name>dfs.namenode.http-address.yunshuocluster.nn2</name><value>node4:50070</value></property><property><name>dfs.namenode.shared.edits.dir</name><value>qjournal://node2:8485;node3:8485;node4:8485/yunshuocluste r</value></property><property><name>dfs.client.failover.proxy.provider.mycluster</name><value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailo verProxyProvider</value></property><property><name>dfs.ha.fencing.methods</name><value>sshfence</value></property><property><name>dfs.ha.fencing.ssh.private-key-files</name><value>/root/.ssh/id_dsa</value></property><property><name>dfs.journalnode.edits.dir</name><value>/opt/journalnode/</value></property><property><name>dfs.ha.automatic-failover.enabled</name><value>true</value></property> </configuration>

6.修改hadoop的core-site.xml配置文件

<configuration><property><name>fs.defaultFS</name><value>hdfs://yunshuocluster</value></property><property><name>hadoop.tmp.dir</name><value>/opt/hadoop-2.5</value></property><property><name>ha.zookeeper.quorum</name><value>node1:2181,node2:2181,node3:2181</value></property> </configuration>

7.配置slaves配置文件

node2 node3 node4

8.啟動zookeeper(node1,node2,node3)

zkServer.sh?start

9.啟動Journalnode(node2,node3,node4上分別執行下面的命令)

#啟動命令?停止命令hadoop-daemon.sh?stop?journalnode hadoop-daemon.sh?start?journalnode

10.檢查Journalnode,通過查看日志

cd?/home/hadoop-2.5.1/logs ls tail?-200?hadoop-root-journalnode-node2.log

11.格式化NameNode(兩臺中的一臺,這里格式化node4這臺NameNode節點)

hdfs?namenode?-formatcd?/opt/hadoop-2.5 #兩臺NameNode同步完成 scp?-r?/opt/hadoop-2.5/*?root@node1:/opt/hadoop-2.5/

12.初始化zkfc

hdfs?zkfc?-formatZK

13.啟動服務

start-dfs.sh #stop-dfs.sh表示停止服務

本文轉自 素顏豬 51CTO博客，原文鏈接:http://blog.51cto.com/suyanzhu/1946843

總結

以上是生活随笔為你收集整理的基于zookeeper的高可用集群的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。