YARN的運(yùn)行流程

client 端 向 ResourceManager 提交一個(gè)任務(wù) jar包

ResourceManager 通過(guò)心跳機(jī)制連接獲取NodeManager 資源的使用情況

ResourceManager 選定NodeManager 來(lái)分配資源容器 container （CPU,內(nèi)存） 主要是為了啟動(dòng)ApplicationMaster

運(yùn)行 ApplicationMaster ： 啟動(dòng)ApplicationMaster , ApplicationMaster 會(huì)向ResourceManager 注冊(cè)，client端 與Resource進(jìn)行連接，找到ApplicationMaster，client直接可以和ApplicationMaster 通訊 ，ApplicationMaster 里面能夠管理 所有的MapReduce的應(yīng)用程序 ，client端能夠進(jìn)行實(shí)時(shí)監(jiān)控各個(gè)MapReduce程序的運(yùn)行狀態(tài)進(jìn)度

ApplicationMaster 向ResourceManager注冊(cè)，進(jìn)行請(qǐng)求分配資源 ，MapReduce1的所有資源，ResourceManager 找到NodeManager 分配container 列表 指向NodeManager 所在的節(jié)點(diǎn)

ApplicationMaster ---->各個(gè)節(jié)點(diǎn) container —> 各個(gè)節(jié)點(diǎn) NodeManager 啟動(dòng)container 容器，n多個(gè)MapReduce相應(yīng)啟動(dòng)

ApplicationMaster可以監(jiān)聽(tīng)和管理在容器中的MapReduce應(yīng)用程序

container 被回收 NodeManager


YARN 工作流程
當(dāng)用戶向YARN中提交一個(gè)應(yīng)用程序后，YARN將分兩個(gè)階段運(yùn)行該應(yīng)用程序
第一個(gè)階段是啟動(dòng)ApplicationMaster；
第二個(gè)階段是由ApplicationMaster創(chuàng)建應(yīng)用程序，為它申請(qǐng)資源，并監(jiān)控它的整個(gè)運(yùn)行過(guò)程，直到運(yùn)行完成
在整個(gè)工作流程當(dāng)中，ResourceManager和NodeManager都是通過(guò)心跳保持聯(lián)系的，NodeManager會(huì)通過(guò)心跳信息向ResourceManager匯報(bào)自己所在節(jié)點(diǎn)的資源使用情況。

總結(jié)

以上是生活随笔為你收集整理的分布式资源管理框架YARN的运行流程的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。