戳藍(lán)字“CSDN云計(jì)算”關(guān)注我們哦！

技術(shù)的日新月異,讓我們見證了Hadoop十年從無到有，再到稱王。2006年項(xiàng)目成立的一開始，“Hadoop”這個(gè)單詞只代表了兩個(gè)組件——HDFS和MapReduce。到現(xiàn)在的10個(gè)年頭，這個(gè)單詞代表的是“核心”以及與之相關(guān)的一個(gè)不斷成長的生態(tài)系統(tǒng)。今天，我們就來一起看看關(guān)于Hadoop的精華問答。

1

Q：能不能給點(diǎn)Hadoop的學(xué)習(xí)方法以及學(xué)習(xí)規(guī)劃，Hadoop系統(tǒng)有點(diǎn)龐大，感覺無從學(xué)起。

A：首先搞清楚什么是Hadoop以及Hadoop可以用來做什么？然后，可以從最經(jīng)典的詞頻統(tǒng)計(jì)程序開始，初步了解MapReduce的基本思路和處理數(shù)據(jù)的方式。接著，就可以正式學(xué)習(xí)Hadoop的基本原理，包括HDFS和MapReduce，先從整體，宏觀核心原理看，先別看源碼級別。進(jìn)一步，就可以深入HDFS和MapReduce和模塊細(xì)節(jié)，這個(gè)時(shí)候可以結(jié)合源碼深入理解，以及實(shí)現(xiàn)機(jī)制。最后就是需要實(shí)戰(zhàn)了，可以結(jié)合自己的項(xiàng)目或者相關(guān)需求來完成一些Hadoop相關(guān)應(yīng)用。

2

Q：以后想從事大數(shù)據(jù)方面工作，算法要掌握到什么程度，算法占主要部分嗎？

A：首先，如果要從事大數(shù)據(jù)相關(guān)領(lǐng)域的話，Hadoop是作為工具來使用的，首先需要掌握使用方法。可以不用深入到Hadoop源碼級別細(xì)節(jié)。然后就是對算法的理解，往往需要設(shè)計(jì)到數(shù)據(jù)挖掘算法的分布式實(shí)現(xiàn)，而算法本身你還是需要理解的，例如常用的k-means聚類等。

3

Q：大數(shù)據(jù)處理都是服務(wù)器上安裝相關(guān)軟件嗎，對程序有什么影響呢，集群、大數(shù)據(jù)是屬于運(yùn)維的工作內(nèi)容還是工程師的呢？

A：傳統(tǒng)的程序只能運(yùn)行在單機(jī)上，而大數(shù)據(jù)處理這往往使用分布式編程框架編寫，例如Hadoop?MapReduce，只能運(yùn)行在Hadoop集群平臺上。

運(yùn)維的責(zé)任：保證集群，機(jī)器的穩(wěn)定性和可靠性

Hadoop系統(tǒng)本身研發(fā)：提高Hadoop集群的性能，增加新功能。

大數(shù)據(jù)應(yīng)用：把Hadoop作為工具，去實(shí)現(xiàn)海量數(shù)據(jù)處理或者相關(guān)需求。

4

Q：Hadoop適不適用于電子政務(wù)？為什么？

A：電子政務(wù)是利用互聯(lián)網(wǎng)技術(shù)實(shí)現(xiàn)政府組織結(jié)構(gòu)和工作流程的重組優(yōu)化，建成一個(gè)精簡、高效、廉潔、公平的政府運(yùn)作信息服務(wù)平臺。因此電子政務(wù)肯定會產(chǎn)生相關(guān)的大量數(shù)據(jù)以及相應(yīng)的計(jì)算需求，而這兩種需求涉及的數(shù)據(jù)和計(jì)算達(dá)到一定規(guī)模時(shí)傳統(tǒng)的系統(tǒng)架構(gòu)將不能滿足，就需要借助海量數(shù)據(jù)處理平臺，例如Hadoop技術(shù)，因此可以利用Hadoop技術(shù)來構(gòu)建電子政務(wù)云平臺。

總結(jié)一下，任何系統(tǒng)沒有絕對的適合和不適合，只有當(dāng)需求出現(xiàn)時(shí)才可以決定，在一個(gè)非常小的電子政務(wù)系統(tǒng)上如果沒有打數(shù)據(jù)處理以及計(jì)算分析需求時(shí)就不需要hadoop這樣的技術(shù)，而實(shí)際上，商用的電子政務(wù)平臺往往涉及到大規(guī)模的數(shù)據(jù)和大量的計(jì)算分析處理需求，因此就需要Hadoop這樣的技術(shù)來解決。

5

Q：非大數(shù)據(jù)的項(xiàng)目能否用Hadoop？

A：非大數(shù)據(jù)項(xiàng)目是否可以用Hadoop的關(guān)鍵問題在于是否有海量數(shù)據(jù)的存儲，計(jì)算，以及分析挖掘等需求，如果現(xiàn)有系統(tǒng)已經(jīng)很好滿足當(dāng)前需求那么就沒有必要使用Hadoop，沒有必要使用并不意味這不能使用Hadoop，很多傳統(tǒng)系統(tǒng)能做的Hadoop也是可以做的，例如使用HDFS來代替LINUX?NFS，使用MapReduce來代替單服務(wù)器的統(tǒng)計(jì)分析相關(guān)任務(wù)，使用Hbase代替MySQL等關(guān)系數(shù)據(jù)庫等，在數(shù)據(jù)量不大的情況下通常Hadoop集群肯定比傳統(tǒng)系統(tǒng)消耗更多的資源。

---------------- ?完? --------------

小伙伴們沖鴨，后臺留言區(qū)等著你！

關(guān)于Hadoop，今天你學(xué)到了什么？還有哪些不懂的？除此還對哪些話題感興趣？快來留言區(qū)打卡啦！留言方式：打開第XX天，答：……

同時(shí)歡迎大家搜集更多問題，投稿給我們！風(fēng)里雨里留言區(qū)里等你~

---------------- ?完? --------------

1.微信群：

添加小編微信：color_ld，備注“進(jìn)群+姓名+公司職位”即可，加入【云計(jì)算學(xué)習(xí)交流群】，和志同道合的朋友們共同打卡學(xué)習(xí)！

2.征稿：

投稿郵箱：liudan@csdn.net；微信號：color_ld。請備注投稿+姓名+公司職位。

推薦閱讀

• Kafka學(xué)習(xí)筆記

• “拼多多”驚爆重大 Bug！程序員的眼淚，羊毛黨的狂歡

• “黃鱔門”視頻女主播一審宣判！

• 12306能扛住明星出軌這種流量沖擊嗎？

• V神說，解釋以太坊2.0最好的文章就是這篇了
  

• 以太坊升級的拖油瓶，竟只是這幾行代碼
  

• 程序員有話說 | 程序猿在乘地鐵的時(shí)候都在想什么??文?推 薦?

點(diǎn)擊“閱讀原文”，打開 CSDN App 閱讀更貼心！

喜歡就點(diǎn)擊“好看”吧！

總結(jié)

以上是生活随笔為你收集整理的Hadoop精华问答 | 非大数据的项目能否用Hadoop？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。