日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 人文社科 > 生活经验 >内容正文

生活经验

2021年大数据Hadoop(二十七):YARN运行流程

發布時間:2023/11/28 生活经验 28 豆豆
生活随笔 收集整理的這篇文章主要介紹了 2021年大数据Hadoop(二十七):YARN运行流程 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

全網最詳細的Hadoop文章系列,強烈建議收藏加關注!

后面更新文章都會列出歷史文章目錄,幫助大家回顧知識重點。

目錄

本系列歷史文章

前言

Yarn運行流程


本系列歷史文章

2021年大數據Hadoop(三十):Hadoop3.x的介紹

2021年大數據Hadoop(二十九):關于YARN常用參數設置

2021年大數據Hadoop(二十八):YARN的調度器Scheduler

2021年大數據Hadoop(二十七):YARN運行流程

2021年大數據Hadoop(二十六):YARN三大組件介紹

2021年大數據Hadoop(二十五):YARN通俗介紹和基本架構

2021年大數據Hadoop(二十四):MapReduce高階訓練

2021年大數據Hadoop(二十三):MapReduce的運行機制詳解

2021年大數據Hadoop(二十二):MapReduce的自定義分組

2021年大數據Hadoop(二十一):MapReuce的Combineer

2021年大數據Hadoop(二十):MapReduce的排序和序列化

2021年大數據Hadoop(十九):MapReduce分區

2021年大數據Hadoop(十八):MapReduce程序運行模式和深入解析

2021年大數據Hadoop(十七):MapReduce編程規范及示例編寫

2021年大數據Hadoop(十六):MapReduce計算模型介紹

2021年大數據Hadoop(十五):Hadoop的聯邦機制 Federation

2021年大數據Hadoop(十四):HDFS的高可用機制

2021年大數據Hadoop(十三):HDFS意想不到的其他功能

2021年大數據Hadoop(十二):HDFS的API操作

2021年大數據Hadoop(十一):HDFS的元數據輔助管理

2021年大數據Hadoop(十):HDFS的數據讀寫流程

2021年大數據Hadoop(九):HDFS的高級使用命令

2021年大數據Hadoop(八):HDFS的Shell命令行使用

2021年大數據Hadoop(七):HDFS分布式文件系統簡介

2021年大數據Hadoop(六):全網最詳細的Hadoop集群搭建

2021年大數據Hadoop(五):Hadoop架構

2021年大數據Hadoop(四):Hadoop發行版公司

2021年大數據Hadoop(三):Hadoop國內外應用

2021年大數據Hadoop(二):Hadoop發展簡史和特性優點

2021年大數據Hadoop(一):Hadoop介紹

前言

2021大數據領域優質創作博客,帶你從入門到精通,該博客每天更新,逐漸完善大數據各個知識體系的文章,幫助大家更高效學習。

有對大數據感興趣的可以關注微信公眾號:三幫大數據

Yarn運行流程

  1. client向RM提交應用程序,其中包括啟動該應用的ApplicationMaster的必須信息,例如ApplicationMaster程序、啟動ApplicationMaster的命令、用戶程序等。
  2. ResourceManager啟動一個container用于運行ApplicationMaster。
  3. 啟動中的ApplicationMaster向ResourceManager注冊自己,啟動成功后與RM保持心跳。
  4. ApplicationMaster向ResourceManager發送請求,申請相應數目的container。
  5. ResourceManager返回ApplicationMaster的申請的containers信息。申請成功的container,由ApplicationMaster進行初始化。container的啟動信息初始化后,AM與對應的NodeManager通信,要求NM啟動container。AM與NM保持心跳,從而對NM上運行的任務進行監控和管理。
  6. container運行期間,ApplicationMaster對container進行監控。container通過RPC協議向對應的AM匯報自己的進度和狀態等信息。
  7. 應用運行期間,client直接與AM通信獲取應用的狀態、進度更新等信息。
  8. 應用運行結束后,ApplicationMaster向ResourceManager注銷自己,并允許屬于它的container被收回。


  • 📢博客主頁:https://lansonli.blog.csdn.net
  • 📢歡迎點贊 👍 收藏 ?留言 📝 如有錯誤敬請指正!
  • 📢本文由 Lansonli 原創,首發于 CSDN博客🙉
  • 📢大數據系列文章會每天更新,停下休息的時候不要忘了別人還在奔跑,希望大家抓緊時間學習,全力奔赴更美好的生活?

總結

以上是生活随笔為你收集整理的2021年大数据Hadoop(二十七):YARN运行流程的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。