Hadoop組件及其作用

hadoop有三個主要的核心組件：HDFS（分布式文件存儲）、MAPREDUCE（分布式的計算）、YARN（資源調度）。

? ? Hadoop Distributed File System (HDFS?):HDFS是一個分布式文件系統，提供高吞吐量數據存儲

? ??Hadoop MapReduce:?大數據集合的并行計算

? ? Hadoop YARN: 是一框架，任務調度和集群資源管理

1.HDFS

??????將數據劃分為很多個塊，默認一個塊block（128MB）,一個500M文件4塊，每一個塊存儲3份，存儲3份的好處，為了安全（空間換安全性）。

主節點：NameNode

?????? 決定數據存儲在那個DataNode

?????? 管理元數據（那個機器存儲了什么數據，索引）

?????? 管理所有從節點

從節點：DataNode

?????? 存儲數據，管理數據（管理當前機器）

2.MapReduce

? ? ? ?并行計算的框架

?????? 分而治之的思想

????????????? 將海量的數據劃分為 多個部分，每部分單獨進行處理，最后將所有處理的結果進行合并

?????? Map：MapTask

????????????? 但對處理每一部分的數據

????????????? 按照OOP思想，就是一個方法（map），在里面處理實際業務邏輯能力

?????? Reduce：ReduceTask

???????????? 合并MapTask輸出的結果數據

????????????按照OOP思想，就是一個方法（reduce），在里面處理實際業務邏輯能力

3.YARN

?

??????分布式集群資源管理和任務調度框架：管理各個機器的資源（cpu和內存），并且合理調度分配資源給各個程序使用（MapReduce程序的運行）

主節點：ResourceManager

?????? 管理子節點功能

?????? 相應客戶端請求

任務調度

從節點：NodeManager

?????? 管理當前機器的資源

總結

以上是生活随笔為你收集整理的Hadoop组件及功能的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。