三臺主機：

192.168.143.111 ?hdp1

192.168.143.112 ?hdp2

192.168.143.113 ?hdp3

1、安裝配置ZooKeeper；

(1)在conf目錄下創建配置文件zoo.cfg

tickTime=2000

dataDir=.../zookeeper/data

dataLogDir=.../zookeeper/dataLog

clientPort=2181

initLimit=5

syncLimit=2

server.1=hdp1:2888:3888

server.2=hdp2:2888:3888

server.3=hdp3:2888:3888

(2)在ZooKeeper目錄下創建myid，hdp1的內容為1，hdp2的內容為2，hdp3的內容為3。

(3)分別啟動ZooKeeper：zkServer.sh start

2、修改hadoop配置文件；

hadoo-env.sh與mapred-site.xml的配置與非ha機制相同。

core-site.xml
<configuration>
? ? <!-- 指定hdfs的nameservice為ns1 -->
? ? <property>
? ? ? ? <name>fs.defaultFS</name>
? ? ? ? <value>hdfs://ns1/</value>
? ? </property>

? ? <!-- 指定hadoop臨時目錄 -->
? ? <property>
? ? ? ? <name>hadoop.tmp.dir</name>
? ? ? ? <value>/home/hadoop/app/hadoop-2.4.1/tmp</value>
? ? </property>

? ? <!-- 指定zookeeper地址 -->
? ? <property>
? ? ? ? <name>ha.zookeeper.quorum</name>
? ? ? ? <value>hdp1:2181,hdp2:2181,hdp3:2181</value>
? ? </property>
</configuration>

hdfs-site.xml
<configuration>
? ? <!--指定hdfs的nameservice為ns1，需要和core-site.xml中的保持一致 -->
? ? <property>
? ? ? ? <name>dfs.nameservices</name>
? ? ? ? <value>ns1</value>
? ? </property>

? ? <!-- ns1下面有兩個NameNode，分別是nn1，nn2 -->
? ? <property>
? ? ? ? <name>dfs.ha.namenodes.ns1</name>
? ? ? ? <value>nn1,nn2</value>
? ? </property>

? ? <!-- nn1的RPC通信地址 -->
? ? <property>
? ? ? ? <name>dfs.namenode.rpc-address.ns1.nn1</name>
? ? ? ? <value>hdp1:9000</value>
? ? </property>

? ? <!-- nn1的http通信地址 -->
? ? <property>
? ? ? ? <name>dfs.namenode.http-address.ns1.nn1</name>
? ? ? ? <value>hdp1:50070</value>
? ? </property>

? ? <!-- nn2的RPC通信地址 -->
? ? <property>
? ? ? ? <name>dfs.namenode.rpc-address.ns1.nn2</name>
? ? ? ? <value>hdp2:9000</value>
? ? </property>

? ? <!-- nn2的http通信地址 -->
? ? <property>
? ? ? ? <name>dfs.namenode.http-address.ns1.nn2</name>
? ? ? ? <value>hdp2:50070</value>
? ? </property>

? ? <!-- 指定NameNode的元數據在JournalNode上的存放位置，與ZooKeeper位置相同?-->
? ? <property>
? ? ? ? <name>dfs.namenode.shared.edits.dir</name>
? ? ? ? <value>qjournal://hdp1:8485;hdp2:8485;hdp3:8485/ns1</value>
? ? </property>

? ? <!-- 指定JournalNode在本地磁盤存放數據的位置 -->
? ? <property>
? ? ? ? <name>dfs.journalnode.edits.dir</name>
? ? ? ? <value>/home/hadoop/app/hadoop-2.4.1/journaldata</value>
? ? </property>

? ? <!-- 開啟NameNode失敗自動切換 -->
? ? <property>
? ? ? ? <name>dfs.ha.automatic-failover.enabled</name>
? ? ? ? <value>true</value>
? ? </property>

? ? <!-- 配置失敗自動切換實現方式 -->
? ? <property>
? ? ? ? <name>dfs.client.failover.proxy.provider.ns1</name>
? ? ? ? <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
? ? </property>

? ? <!-- 配置隔離機制方法，多個機制用換行分割，即每個機制暫用一行-->
? ? <property>
? ? ? ? <name>dfs.ha.fencing.methods</name>
? ? ? ? <value>
? ? ? ? ? ? sshfence
? ? ? ? ? ? shell(/bin/true)
? ? ? ? </value>
? ? </property>

? ? <!-- 使用sshfence隔離機制時需要ssh免登陸 -->
? ? <property>
? ? ? ? <name>dfs.ha.fencing.ssh.private-key-files</name>
? ? ? ? <value>/home/hadoop/.ssh/id_rsa</value>
? ? </property>

? ? <!-- 配置sshfence隔離機制超時時間 -->
? ? <property>
? ? ? ? <name>dfs.ha.fencing.ssh.connect-timeout</name>
? ? ? ? <value>30000</value>
? ? </property>
</configuration>

yarn-site.xml
<configuration>

? ? <!-- 開啟RM高可用 -->
? ? <property>
? ? ? ? <name>yarn.resourcemanager.ha.enabled</name>
? ? ? ? <value>true</value>
? ? </property>
? ??
? ? <!-- 指定RM的cluster id -->
? ? <property>
? ? ? ? <name>yarn.resourcemanager.cluster-id</name>
? ? ? ? <value>yrc</value>
? ? </property>
? ??
? ? <!-- 指定RM的名字 -->
? ? <property>
? ? ? ? <name>yarn.resourcemanager.ha.rm-ids</name>
? ? ? ? <value>rm1,rm2</value>
? ? </property>
? ??
? ? <!-- 分別指定RM的地址 -->
? ? <property>
? ? ? ? <name>yarn.resourcemanager.hostname.rm1</name>
? ? ? ? <value>hdp1</value>
? ? </property>
? ??
? ? <property>
? ? ? ? <name>yarn.resourcemanager.hostname.rm2</name>
? ? ? ? <value>hdp2</value>
? ? </property>
? ??
? ? <!-- 指定zk集群地址 -->
? ? <property>
? ? ? ? <name>yarn.resourcemanager.zk-address</name>
? ? ? ? <value>hdp1:2181,hdp2:2181,hdp3:2181</value>
? ? </property>
? ??
? ? <property>
? ? ? ? <name>yarn.nodemanager.aux-services</name>
? ? ? ? <value>mapreduce_shuffle</value>
? ? </property>
? ??
</configuration>

slaves

hdp3

3、初次啟動順序

先啟動ZooKeeper集群：zkServer.sh start

再啟動journalnode：hadoop-daemon.sh start journalnode

hdp1上格式化HDFS：hdfs namenode -format

啟動hdp1的NameNode：hadoop-daemon.sh start namenode

在hdp2上執行命令：hdfs namenode -bootstrapStandby

在hdp1上執行：hdfs zkfc -formatZK

在hdp1上執行：start-dfs.sh

在hdp1上執行：start-yarn.sh

4、平常啟動順序

先啟動ZooKeeper集群

在hdp1上執行：start-dfs.sh ? ?start-yarn.sh

在hdp2上執行：yarn-daemon.sh start resourcemanager

5、HA機制下hdfs的Java編程

public class HDFS_HA {public static void main(String[] args) throws Exception {Configuration conf = new Configuration();conf.set("fs.defaultFS", "hdfs://ns1");conf.set("dfs.nameservices", "ns1");conf.set("dfs.ha.namenodes.ns1", "nn1,nn2");conf.set("dfs.namenode.rpc-address.ns1.nn1", "hdp11:9000");conf.set("dfs.namenode.rpc-address.ns1.nn2", "hdp2:9000");//conf.setBoolean(name, value);conf.set("dfs.client.failover.proxy.provider.ns1", "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");FileSystem fs = FileSystem.get(new URI("hdfs://ns1"), conf, "hadoop");InputStream in =new FileInputStream("c://eclipse.rar");OutputStream out = fs.create(new Path("/eclipse"));IOUtils.copyBytes(in, out, 4096, true);} }

總結

以上是生活随笔為你收集整理的HadoopHA集群搭建的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。