?

Hadoop是一個開源的分布式框架，是Apache下的一個開源項目。Hadoop運行可以在成千上萬個普通機器節點組成的集群上，通過分布式的計算模型和存儲模型來處理大數據集。Hadoop具有高容錯性、工作在普通的機器節點上擴展性強等眾多的優點，是企業選擇處理大數據集工具的不二“人”選。

這個框架是另一個大項目的一部分，有數據庫管理專家Mike Cafarella與開源技術的支持者DougCutting所構建。兩人創建了一個名叫Nutch的網絡爬蟲與分析系統，該系統使用集群運算同時執行多項任務。之后Nutch演化成兩個系統，其中之一就是Hadoop分布式管理系統。

Hadoop核心組成部分

• Hadoop Common：包括函數庫與工具功能，對Hadoop的其他模塊提供支持。
• Hadoop分布式文件系統(HDFS)：基于Java，具有高擴展性，允許在未經預先安排的多臺計算機上存儲數據——本質上是打造一個類似單文件系統運作的節點社區。
• MapReduce：Hadoop的一個處理大數據集的分布式計算框架，可處理結構化與非結構化數據集，具有可靠性與高容錯性。
• Yarn(另一種資源協調方式)：是一種資源管理框架，用來處理多個分布式架構發送的資源請求調度。

一個HDFS集群主要由Namenode和Datanode組成，其中Namenode只有一個，主要用于管理存儲數據的元數據，而Datanode可以有多個，主要用于直接存儲數據。

常用數據存取部分

• pig：專為數據分析設計的編程語言，無需花費大量時間構建映射和化簡操作，即可處理任何類型的數據。
• Hive：類似SQL的查詢語言——HQL，將sql語句編譯到MapReduce中，再跨集群分發出去。
• Flume：從應用中收集大量數據，并將它們轉入HDFS文件系統中。
• Spark：開源集群運算系統，在某些情況下進行數據分析時比MapReduce塊100倍。
• Sqoop：數據傳輸工具，可以提取、加載并轉換結構化數據。
• Hbase：NoSQL數據庫一種，可在HDFS上運行。

Hadoop生態圈架構圖

總結

以上是生活随笔為你收集整理的大数据初探——Hadoop历史的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。