hadoop(一) 基本介绍
生活随笔
收集整理的這篇文章主要介紹了
hadoop(一) 基本介绍
小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
hadoop包括如下幾個(gè)模塊:
- hadoop common:公用的工具,支持其他的hadoop模塊
- hadoop distribute file system(hdfs):分布式文件系統(tǒng),提供了一個(gè)高吞吐量
- hadoop yarn:作業(yè)調(diào)度和集群資源管理的框架,比如集群中還有多少資源(內(nèi)存、cpu)可以用。例如作業(yè)提交上去時(shí),需要10G內(nèi)存,但是當(dāng)前只有5G的容量,這時(shí)這個(gè)作業(yè)就無法提交。
- hadoop mapreduce:基于yarn的并行處理大數(shù)據(jù)的系統(tǒng)
總結(jié)
以上是生活随笔為你收集整理的hadoop(一) 基本介绍的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Elasticsearch kibana
- 下一篇: Hadoop核心组件以及发行版