根據(jù)HA架構(gòu)圖，規(guī)劃HA的分布式集群服務(wù)器

HA集群規(guī)劃

配置參考圖

根據(jù)官方文檔配置HA

部分說(shuō)明

Architecture

在典型的ha集群中，兩臺(tái)獨(dú)立的機(jī)器被配置為namenode。在任何時(shí)間點(diǎn)，一個(gè)namenodes處于活動(dòng)狀態(tài)，另一個(gè)處于備用狀態(tài)。活動(dòng)NameNode負(fù)責(zé)集群中的所有客戶端操作，而備用服務(wù)器只是充當(dāng)從服務(wù)器，保持足夠的狀態(tài)，以便在必要時(shí)提供快速故障轉(zhuǎn)移。備用節(jié)點(diǎn)與活動(dòng)節(jié)點(diǎn)保持狀態(tài)同步，兩個(gè)節(jié)點(diǎn)都與一組稱為“日志節(jié)點(diǎn)”(Jns)的獨(dú)立守護(hù)進(jìn)程通信。當(dāng)任何名稱空間修改由活動(dòng)節(jié)點(diǎn)執(zhí)行時(shí)，它會(huì)將修改的記錄持久地記錄到這些jn中的大多數(shù)。備用節(jié)點(diǎn)能夠從JNS讀取編輯，并不斷監(jiān)視它們對(duì)e的更改。

Hardware resources

要部署HA集群，您應(yīng)該準(zhǔn)備以下內(nèi)容：NameNode計(jì)算機(jī)—運(yùn)行主動(dòng)和備用Namenodes的計(jì)算機(jī)應(yīng)具有彼此等效的硬件，以及與非HA群集使用的硬件相當(dāng)?shù)挠布Ｈ罩竟?jié)點(diǎn)計(jì)算機(jī)-運(yùn)行日志節(jié)點(diǎn)的計(jì)算機(jī)。日志節(jié)點(diǎn)守護(hù)程序相對(duì)較輕，因此這些守護(hù)程序可以合理地配置在具有其他Hadoop后臺(tái)進(jìn)程的計(jì)算機(jī)上，例如NameNODES、JobTracker或紗線資源Manager。注意：必須至少有3個(gè)日志節(jié)點(diǎn)守護(hù)程序，因?yàn)榫庉嬋罩拘薷谋仨殞懭氲酱蠖鄶?shù)JNS。這將允許系統(tǒng)容忍單個(gè)機(jī)器的故障。您還可以運(yùn)行3個(gè)以上的日志節(jié)點(diǎn)，但為了實(shí)際增加系統(tǒng)可以承受的故障數(shù)，您應(yīng)該運(yùn)行奇數(shù)的JNS，(即，3、5、7等)。請(qǐng)注意，在使用N個(gè)日志節(jié)點(diǎn)運(yùn)行時(shí)，系統(tǒng)可以容忍最多(n-1)/2故障，并繼續(xù)正常運(yùn)行。請(qǐng)注意，在HA集群中，備用NameNode還執(zhí)行命名空間狀態(tài)的檢查點(diǎn)，因此不必在HA集群中運(yùn)行輔助NameNode、檢查點(diǎn)節(jié)點(diǎn)或BackupNode。事實(shí)上，這樣做將是錯(cuò)誤。這也允許一個(gè)正在重新配置非HA啟用HDFS集群的人啟用高可用性，以便重新使用以前專用于輔助NameNode的硬件。

配置概述

與聯(lián)邦配置類似，HA配置是向后兼容的，允許現(xiàn)有的單個(gè)NameNode配置不受更改地工作。新配置的設(shè)計(jì)使得集群中的所有節(jié)點(diǎn)都可以具有相同的配置，而無(wú)需根據(jù)節(jié)點(diǎn)的類型將不同的配置文件部署到不同的計(jì)算機(jī)上。

與HDFFederation一樣，HA集群重用名稱服務(wù)ID來(lái)標(biāo)識(shí)單個(gè)HDFS實(shí)例，該實(shí)例實(shí)際上可能由多個(gè)HARNameNodes組成。此外，HA還添加了一個(gè)名為NameNodeID的新抽象。集群中的每個(gè)不同的NameNode都有一個(gè)不同的NameNode ID來(lái)區(qū)分它。為了支持所有NameNode的單個(gè)配置文件，相關(guān)的配置參數(shù)都以名稱服務(wù)ID和NameNode ID作為后綴。

備份hadoop中的配置文件和數(shù)據(jù)(131,132,133)

HA配置

hdsf-site.xml

dfs.nameservices - the logical name for this new nameservice

Note: If you are also using HDFS Federation, this configuration setting should also include the list of other nameservices, HA or otherwise, as a comma-separated list.

配置nameservices

dfs.nameservices

ns1

配置namenodes

dfs.ha.namenodes.ns1

nn1,nn2

配置namenode

dfs.namenode.rpc-address.ns1.nn1

hadoop-senior.beifeng.com:8020

dfs.namenode.rpc-address.ns1.nn2

hadoop-senior02.beifeng.com:8020

配置訪問(wèn)地址namenode.http-address

dfs.namenode.http-address.ns1.nn1

hadoop-senior.beifeng.com:50070

dfs.namenode.http-address.ns1.nn2

hadoop-senior02.beifeng.com:50070

配置代理

dfs.client.failover.proxy.provider.mycluster

org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider

nodeName ssh fencing 可以實(shí)現(xiàn)131和132上的nameNode可以無(wú)密碼登入。131->132登入。也可以132->131登入

dfs.ha.fencing.methods

sshfence

dfs.ha.fencing.ssh.private-key-files

/root/.ssh/id_rsa

配置 journalnode 的edits日志存放的目錄

dfs.journalnode.edits.dir

/opt/app/hadoop-2.5.0/data/dfs/jn

core-site.xml配置

配置默認(rèn)的HDFS

fs.defaultFS

hdfs://ns1

hadoop數(shù)據(jù)存儲(chǔ)目錄

hadoop.tmp.dir

/opt/app/hadoop-2.5.0/data/tmp

垃圾回收時(shí)間

fs.trash.interval

420

主節(jié)點(diǎn)(131)向其他子節(jié)點(diǎn)(132,133)同步修改的配置文件

命令：scp -r /opt/app/hadoop-2.5.0/etc/hadoop/core-site.xml /opt/app/hadoop-2.5.0/etc/hadoop/hdfs-site.xml /opt/app/hadoop-2.5.0/etc/hadoop/slaves root@hadoop-senior02.beifeng.com:/opt/app/hadoop-2.5.0/etc/hadoop/

總結(jié)

以上是生活随笔為你收集整理的hdfs 备份数配置_大数据||HDFS HA配置详解的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。