Hadoop1.0的弊端導(dǎo)致人們再次改進(jìn)技術(shù)

Hadoop ?2.0產(chǎn)生背景

?

Hadoop 1.0中HDFS和MapReduce在高可用、擴(kuò)展性等方面存在問題

HDFS存在的問題(2個)

NameNode單點(diǎn)故障，難以應(yīng)用于在線場景 ???HA

NameNode壓力過大，且內(nèi)存受限，影擴(kuò)展性 ??F

MapReduce存在的問題響系統(tǒng)

JobTracker訪問壓力大，影響系統(tǒng)擴(kuò)展性

難以支持除MapReduce之外的計(jì)算框架，比如Spark、Storm等

--------------------------------------------------------------------------------------------

?

Hadoop ?1.x與Hadoop ?2.x

?

Hadoop 2.x由HDFS、MapReduce和YARN三個分支構(gòu)成；

HDFS：NN Federation（聯(lián)邦）、HA；

2.X:只支持2個節(jié)點(diǎn)HA，3.0實(shí)現(xiàn)了一主多從

MapReduce：運(yùn)行在YARN上的MR；

離線計(jì)算，基于磁盤I/O計(jì)算

YARN：資源管理系統(tǒng)

--------------------------------------------------------------------------------------------

?

HDFS ?2.x

解決HDFS 1.0中單點(diǎn)故障和內(nèi)存受限問題。

解決單點(diǎn)故障

HDFS HA：通過主備NameNode解決

如果主NameNode發(fā)生故障，則切換到備NameNode上

解決內(nèi)存受限問題

HDFS Federation(聯(lián)邦)

水平擴(kuò)展，支持多個NameNode；

（2）每個NameNode分管一部分目錄；

（1）所有NameNode共享所有DataNode存儲資源

2.x僅是架構(gòu)上發(fā)生了變化，使用方式不變

對HDFS使用者透明

HDFS 1.x中的命令和API仍可以使用

--------------------------------------------------------------------------------------------

?

HDFS ?2.0 ?HA

主備NameNode

解決單點(diǎn)故障（屬性，位置）

主NameNode對外提供服務(wù)，備NameNode同步主NameNode元數(shù)據(jù)，以待切換

所有DataNode同時向兩個NameNode匯報(bào)數(shù)據(jù)塊信息（位置）

JNN:集群（屬性）

standby：備，完成了edits.log文件的合并產(chǎn)生新的image，推送回ANN

兩種切換選擇

手動切換：通過命令實(shí)現(xiàn)主備之間的切換，可以用HDFS升級等場合

自動切換：基于Zookeeper實(shí)現(xiàn)

基于Zookeeper自動切換方案

ZooKeeper Failover Controller：監(jiān)控NameNode健康狀態(tài)，

并向Zookeeper注冊NameNode

NameNode掛掉后，ZKFC為NameNode競爭鎖，獲得ZKFC 鎖的NameNode變?yōu)閍ctive

--------------------------------------------------------------------------------------------

?

HDFS ?2.x ?Federation

?

通過多個namenode/namespace把元數(shù)據(jù)的存儲和管理分散到多個節(jié)點(diǎn)中，使到namenode/namespace可以通過增加機(jī)器來進(jìn)行水平擴(kuò)展。

能把單個namenode的負(fù)載分散到多個節(jié)點(diǎn)中，在HDFS數(shù)據(jù)規(guī)模較大的時候不會也降低HDFS的性能。可以通過多個namespace來隔離不同類型的應(yīng)用，把不同類型應(yīng)用的HDFS元數(shù)據(jù)的存儲和管理分派到不同的namenode中。

--------------------------------------------------------------------------------------------

?

思考：一定要確定是HA ?還是 Federation

總結(jié)

以上是生活随笔為你收集整理的Hadoop 04_Hadoop2.0的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。