1.NameNode:

相當于一個領導者，負責調度 ，比如你需要存一個1280m的文件如果按照128m分塊 那么namenode就會把這10個塊（這里不考慮副本）分配到集群中的datanode上并記錄對于關系 。當你要下載這個文件的時候namenode就知道在那些節點上給你取這些數據了。它主要維護兩個map 一個是文件到塊的對應關系 一個是塊到節點的對應關系。

2. secondarynamenode：

它是namenode的一個快照，會根據configuration中設置的值來決定多少時間周期性的去cp一namenode，記錄namenode中的metadata及其它數據?

3. NodeManager（NM）:

1、是YARN中每個節點上的代理，它管理Hadoop集群中單個計算節點

2、包括與ResourceManger保持通信，監督Container的生命周期管理，

3、監控每個Container的資源使用（內存、CPU等）情況，追蹤節點健

4、康狀況，管理日志和不同應用程序用到的附屬服務（auxiliary service）

4.DataNode:

a.DataNode的需要完成的首要任務是K-V存儲

b.完成和namenode 通信 ，這個通過IPC 心跳連接實現，此外還有和客戶端 其它datanode之前的信息交換。

?c.完成和客戶端還有其它節點的大規模通信，這個需要直接通過socket 協議實現。 ?

5.ResourceManager:

?在YARN中，ResourceManager負責集群中所有資源的統一管理和分配，它接收來自各個節點（NodeManager）的資源匯報信息，并把這些信息按照一定的策略分配給各個應用程序（實際上是ApplicationManager）RM與每個節點的NodeManagers (NMs)和每個應用的ApplicationMasters (AMs)一起工作。

? ? a.NodeManagers 遵循來自ResourceManager的指令來管理單一節點上的可用資源。

? ? b.ApplicationMasters負責與ResourceManager協商資源與NodeManagers合作啟動容器

轉載于:https://blog.51cto.com/dbaspace/1874858

總結

以上是生活随笔為你收集整理的Hadoop五个进程的作用和联系的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。