Hadoop之Yarn面試知識復習

目錄

簡述hadoop1與hadoop2 的架構異同

為什么會產生 yarn,它解決了什么問題，有什么優(yōu)勢？

Hadoop之Yarn工作機制詳解

HDFS的數(shù)據(jù)壓縮算法?

Hadoop的調度器總結

MapReduce 2.0 容錯性

mapreduce推測執(zhí)行算法及原理

---

1. 簡述hadoop1與hadoop2 的架構異同

加入了yarn解決了資源調度的問題。

加入了對zookeeper的支持實現(xiàn)比較可靠的高可用。

---

2. 為什么會產生 yarn,它解決了什么問題，有什么優(yōu)勢？

Yarn最主要的功能就是解決運行的用戶程序與yarn框架完全解耦。

Yarn上可以運行各種類型的分布式運算程序（mapreduce只是其中的一種），比如mapreduce、storm程序，spark程序……

---

3. Hadoop之Yarn工作機制詳解

已詳細總結過，請參考：Hadoop之Yarn工作機制詳解

---

4. HDFS的數(shù)據(jù)壓縮算法?

已詳細總結過，請參考：Hadoop之Hadoop數(shù)據(jù)壓縮

---

5. Hadoop的調度器總結

已詳細總結過，請參考：Hadoop之資源調度器與任務推測執(zhí)行

---

6. MapReduce 2.0 容錯性

MRAppMaster容錯性
一旦運行失敗，由YARN的ResourceManager負責重新啟動，最多重啟次數(shù)可由用戶設置，默認是2次。一旦超過最高重啟次數(shù)，則作業(yè)運行失敗。

Map Task/Reduce Task
Task周期性向MRAppMaster匯報心跳；一旦Task 掛掉，則MRAppMaster將為之重新申請資源，并運行之。最多重新運行次數(shù)可由用戶設置，默認4 次。

---

7. mapreduce推測執(zhí)行算法及原理

已詳細總結過，請參考：Hadoop之資源調度器與任務推測執(zhí)行

總結

以上是生活随笔為你收集整理的Hadoop之Yarn面试知识复习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。