記得剛接觸到hadoop的時候跟大部分人一樣都會抱怨hadoop的安裝部署問題，對于一個新手來說這這的是個頭疼的問題，可能需要花費一整天的時間才能把分布式環境安裝配置好。在剛接觸hadoop的一段時間里，可以說對于hadoop的理解一直都是停留在相對較膚淺的層面。后來隨著自己的不斷摸索以及向圈內的前輩大神請教交流（主要是向大神請教學來的），自己對于hadoop的認識以及應用也就更加嫻熟。

作為一個過來人，在這里給新人分享一些關于hadoop版本選擇的問題，希望別像我當時傻乎乎的只知道hadoop有1.0.x和2.x版本。?

當前hadoop的發行版本除了Apache的開元版本之外，華為發行版、Intel發行版以及Cloudera發行版等。上面說的這幾個第三方的發行版已經有相對較長的一些時間，除此之外還有最近幾年異軍突起的DKhadoop商業發行版。

國內的大多數公司推出的Hadoop發行版都是收費的，免費的發行版則主要是國外的，比如Apache的發行版、Cloudera發行版等。面對如此多的hadoop版本不免會讓人難以選擇。下面我們就簡單對比一些這些不同版本的優缺點，希望對于新手能夠有所幫助。

Apache發行版：

優點：Apache發行版的優點主要集中表現在它的完全開源免費、社區活躍性以及文檔、資料詳實等方面。

缺點：Apache發行版的缺點也相對較多，具體表現在以下幾個方面：

復雜的版本管理。版本管理比較混亂，各種版本層出不窮，讓使用者不知所措。

復雜的集群部署、安裝、配置。通常按照集群需要編寫大量的配置文件，分發到每一臺節點上，容易出錯，效率低下。

復雜的集群運維。對集群的監控，運維，需要安裝第三方的其他軟件，如ganglia，nagois等，運維難度較大。

復雜的生態環境。在Hadoop生態圈中，組件的選擇、使用，比如Hive，Mahout，Sqoop，Flume，Spark，Oozie等等，需要大量考慮兼容性的問題，版本是否兼容，組件是否有沖突，編譯是否能通過等。經常會浪費大量的時間去編譯組件，解決版本沖突問題。

第三方發行版本的優缺點：（如CDH，HDP，MapR等）

優點：第三方發行版本的優點主要有以下幾個：

1.基于Apache協議，100%開源；

2.相較于原生的hadoop在兼容性、安全型以及穩定性方面有所提升；

3.版本管理清晰，更新更快；

4.提供了部署、安裝、配置工具，大大提高了集群部署的效率，可以在幾個小時內部署好集群；

5.運維簡單。提供了管理、監控、診斷、配置修改的工具，管理配置方便，定位問題快速、準確，使運維工作簡單，有效。

缺點：第三方hadoop發行版的主要缺點就是涉及到廠商鎖定的問題，但這一問題可以通過技術方面解決掉。

DKhadoop發行版：

Dkhadoop發行版是我目前接觸的以及使用一個版本。與市場的其他第三方的發行版本相比較，整合程度要更高，但同樣也保持了開源系統的全部優點。綜合目前使用的情況看，在性能上相較于以往使用的一些第三方hadoop發行版要提升很多的！關于DKhadoop發行版的問題，感興趣的可以自己去查閱收集一些資料看看。

轉載于:https://blog.51cto.com/13636660/2175298

總結

以上是生活随笔為你收集整理的hadoop商业版本选择对比的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。