當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

Hadoop四大组件

發布時間：2023/12/31 编程问答 30 豆豆

生活随笔收集整理的這篇文章主要介紹了 Hadoop四大组件小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

common：

HDFS：（Hadoop Distributed File System）：分布式文件系統。

? ? ? ? ? ? ? ?a.文件系統：文件管理+block塊管理。

? ? ? ? ? ? ? ?b.分布式:多個服務器存儲。

? ? ? ? ? ? ? ?c.三大組件

? ? ? ? ? ? ? ? ? ?<1>:NameNode：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ?Ⅰ：元數據：文件名、目錄名、屬性（生成時間、權限、副本）。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ?Ⅱ：文件名與block列表映射關系。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ?Ⅲ：block與DataNode列表映射關系。

? ? ? ? ? ? ? ? ? <2>:DataNode：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ??Ⅰ：block塊數據、校驗和編碼。

? ? ? ? ? ? ? ? ? ?<3>:SecondaryNameNode：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Ⅰ：分擔NameNode壓力，合并編輯日志edits和鏡像文件fsimage（因為合并操作需要占用很大的資源，影響客戶端請求），合并后將最終鏡像文件fsimage返回給NameNode進行處理。

MapReduce：

YARN：

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

以上是生活随笔為你收集整理的Hadoop四大组件的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。