在數(shù)據(jù)開發(fā)過程中，一般分為開發(fā)模式和線上模式，開發(fā)模式中進行調(diào)試時會將線上數(shù)據(jù)污染，所以需要將開發(fā)模式和線上模式的數(shù)據(jù)進行物理分離，同時又想使用同一套hive metastore.

配置hdfs跨集群訪問可以解決以上問題。

在客戶端配置多個HA HDFS

其實就是HDFS Federation的配置。 關于HA的配置，其實完全是客戶端的，跟服務端沒關系， 所以可以修改客戶端的hdfs-site.xml，修改以下配置

<!-- hh-cluster1是本來就有的，加一個hh-cluster2 --> <property><name>dfs.nameservices</name><value>hh-cluster1,hh-cluster2</value> </property> <!-- 以下是新增的hh-cluster2的HA配置 --> <property><name>dfs.ha.namenodes.hh-cluster2</name><value>nn1,nn2</value> </property> <property><name>dfs.namenode.rpc-address.hh-cluster2.nn1</name><value>hadoop40.photo.pactera.com:8020</value> </property> <property><name>dfs.namenode.rpc-address.hh-cluster2.nn2</name><value>hadoop41.photo.pactera.com:8020</value> </property> <property><name>dfs.namenode.http-address.hh-cluster2.nn1</name><value>hadoop40.photo.pactera.com:50070</value> </property> <property><name>dfs.namenode.http-address.hh-cluster2.nn2</name><value>hadoop41.photo.pactera.com:50070</value> </property> <property><name>dfs.client.failover.proxy.provider.hh-cluster2</name><value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property>

然后即可訪問多個集群：

# fs.defaultFS是hh-cluster1，所以不指定完整URI時，訪問hh-cluster1 hadoop@inspur116:~/hy/test/multiple_nn/hadoop-2.2.0/bin$ ./hadoop fs -ls /user Found 40 items drwx------ - ad hdfs 0 2022-01-19 13:35 /user/ad drwx------ - azkaban hdfs 0 2022-02-02 10:38 /user/azkaban drwxr-x--- - blog hdfs 0 2022-02-02 10:38 /user/blog drwx------ - censor hdfs 0 2022-02-10 03:00 /user/censorhadoop@inspur116:~/hy/test/multiple_nn/hadoop-2.2.0/bin$ ./hadoop fs -ls hdfs://hh-cluster1/user Found 40 items drwx------ - ad hdfs 0 2022-01-19 13:35 hdfs://hh-cluster1/user/ad drwx------ - azkaban hdfs 0 2022-02-02 10:38 hdfs://hh-cluster1/user/azkaban drwxr-x--- - blog hdfs 0 2022-02-02 10:38 hdfs://hh-cluster1/user/blog drwx------ - censor hdfs 0 2022-02-10 03:00 hdfs://hh-cluster1/user/censorhadoop@inspur116:~/hy/test/multiple_nn/hadoop-2.2.0/bin$ ./hadoop fs -ls hdfs://hh-cluster2/user Found 17 items drwx------ - ad hdfs 0 2022-02-09 14:48 hdfs://hh-cluster2/user/ad drwxr-x--- - click_tracker hdfs 0 2022-01-22 16:09 hdfs://hh-cluster2/user/click_tracker drwxr-xr-x - comic hdfs 0 2022-02-10 14:48 hdfs://hh-cluster2/user/comic drwxr-x--- - easegame hdfs 0 2022-01-13 14:49 hdfs://hh-cluster2/user/easegame

總結

以上是生活随笔為你收集整理的hdfs跨集群访问的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。