1、介紹hadoop的組件

hadoop有三個主要的核心組件：HDFS（分布式文件存儲）、MAPREDUCE（分布式的計算）、YARN（資源調度），現在云計算包括大數據和虛擬化進行支撐。

　　在HADOOP（hdfs、MAPREDUCE、yarn）大數據處理技術框架，擅長離線數據分析.

?　　Zookeeper?分布式協調服務基礎組件，Hbase ?分布式海量數據庫，離線分析和在線業務處理。

　　Hive sql?數據倉庫工具，使用方便，功能豐富，基于MR延遲大，可以方便對數據的分析，并且數據的處理可以自定義方法進行操作，簡單方便。　　

　　Sqoop數據導入導出工具，將數據從數據庫導入Hive，將Hive導入數據庫等操作。

　　Flume數據采集框架，可以從多種源讀取數據。

　　Azkaban對操作進行管理，比如定時腳本執行，有圖形化界面，上傳job簡單，只需要將腳本打成包，可直接上傳。

2、三大組件詳細介紹參見博客

1、HDFS原理深入

2、MapReduce概述及MapReduce詳細實現

3、MapReduce在Yarn上執行流程

總結

以上是生活随笔為你收集整理的hadoop三大组件的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。