為什么80%的碼農(nóng)都做不了架構(gòu)師？>>> ??

本書(shū)適用于想對(duì)大數(shù)據(jù)平臺(tái)Hadoop有深入了解的程序員朋友，會(huì)幫助你以后在應(yīng)用開(kāi)發(fā)方面趟平一些坑。

1，Hadoop 是一個(gè)系列大數(shù)據(jù)組件構(gòu)成的應(yīng)用平臺(tái)，可由多個(gè)廉價(jià)機(jī)器搭建集群，提供分布式存儲(chǔ)和計(jì)算。

2，MapReduce 分為map和reduce。 map是將一系列數(shù)據(jù)轉(zhuǎn)換N個(gè)k-v reduce是將k-v經(jīng)過(guò)分布式并行計(jì)算，并將結(jié)果合并處理得到目的。

3，Hive 是一個(gè)元數(shù)據(jù)存儲(chǔ)于關(guān)系型數(shù)據(jù)庫(kù)，數(shù)據(jù)集存于HDFS的數(shù)據(jù)倉(cāng)庫(kù)；可用HiveQL進(jìn)行MapReduce計(jì)算。

4，Impala

5, Spark 是擺脫MapReduce，使用新型內(nèi)存計(jì)算框架的計(jì)算引擎。

6，HBase是NoSql(not only sql)的實(shí)現(xiàn)，rowkey,列組，region,regionServer,MasterServer是要自行了解的內(nèi)容。

轉(zhuǎn)載于:https://my.oschina.net/cn0512/blog/2962533

總結(jié)

以上是生活随笔為你收集整理的《Hadoop大明白》【1】Hadoop的核心组件的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。