hadoop關(guān)鍵進程

@(HADOOP)[hadoop]

hadoop集群中主要進程有
master: NameNode, ResourceManager,
slaves: DataNode, NodeManager, RunJar, MRAppMaster,YarnChild

其中 RunJar, MRAppMaster,YarnChild與隨著某個job的創(chuàng)建而創(chuàng)建，隨著job的完成而終止。它們的作用分別是：
RunJar：完成job的初始化，包括獲取jobID，將jar包上傳至hdfs等。
MRAppMaster：每個job一個進程，主要跟蹤job的運行情況，向RM申請資源等。
YarnChild：運行具體的map/reduce task。

job啟動過程：
ResourceManage，NodeManager->RunJar->MRAppMaster->YarnChild

job退出過程：
YarnChild->MRAppMaster->RunJar
即所有的map/reduce均完成后，MRAppMaster才退出，最后RunJar退出，job完成。

總結(jié)

以上是生活随笔為你收集整理的hadoop关键进程的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。