Hadoop自動安裝腳本

文章目錄

• Hadoop自動安裝腳本
• • 前言
  • 腳本說明
  • 腳本截圖
  • 后記

前言

最近在學習大數據的相關知識，對于 Hadoop的安裝這一塊，身邊不少同學安裝都存在許多問題，不行安裝 SSH啦、不會配置環境變量啦之類的，網上的教程五花八門，大家配置的過程總是出現問題。

我也耐心地一個一個地幫忙，但是 Hadoop的配置過程本就繁瑣，一個同學的配置往往要花掉幾個小時才能弄好，三四個同學一幫，我一天的時間就沒了。

我覺得這樣做不是辦法，于是萌生了用自動化工具的想法，去開發一個 Shell腳本。只要同學們去鏡像站下載好 Hadoop，直接運行腳本文件，就可以實現一鍵配置，我只需要教大家腳本的使用技巧就行了，這大大節省了時間。

說干就干，在網上查閱 Linux Shell腳本的編寫方法，翻閱了很多資料，歷經千辛萬苦，de了無數的 bug，花了整整一天時間，終于將腳本編寫完畢。

腳本說明

因為我自己使用的是 Ubuntu系統，所以就針對 Ubuntu系統編寫了這個腳本，目前還沒有對其他系統做適配。腳本的地址在我的碼云倉庫里 Hadoop自動安裝腳本

當前，這個腳本的運行也是需要前提條件的，這些我都在網站上做了說明，腳本運行時也會進行提示：

• 本腳本僅適用于 Ubuntu 系統，目前尚未對其他系統做適配
• 當前用戶必須有足夠的權限，例如管理員權限
• 系統已經安裝了JDK，并配置了環境變量
• Hadoop安裝文件與腳本必須都在 home 目錄下
• 保證系統處于聯網狀態

目前運行腳本時需要注意的就是有兩次 ssh登錄，所以需要有兩次 exit退出（這些都在腳本里寫有提示）。腳本運行完畢后，配置就完成了，自己手動初始化 HDFS，就可以開始使用 Hadoop了。

關于腳本運行之前可能會出的幾個問題，我都在 ReadMe中進行了說明，倉庫里還有一個腳本使用說明的 pdf文件，兩者大同小異，都是解決腳本在正常運行之前可能遇到的問題。

關于默認設置，腳本運行的默認路徑是用戶的 home目錄下，解壓安裝出的 Hadoop文件也是在 home目錄下。腳本配置的是 Hadoop偽分布式模式，默認是 localhost。

腳本截圖

兩天時間，hadoop 的腳本我已經更新了六次了。基本上已經解決了同學們安裝過程中反饋出的一些問題。目前腳本在 Ubuntu系統上已經可以很好地運行起來，沒有什么問題了。

之后又如法炮制，編寫了安裝 HBase的腳本，同理也是默認 home目錄，配置的偽分布式模式，localhost登錄。

Hadoop腳本的運行截圖

HBase腳本的運行截圖

后記

強調一下，腳本配置雖然方便，但是為了方便你可能就什么也不懂了。雖然腳本好用，我還是建議大家要親自去配置一遍 Hadoop，熟悉整個配置流程，遇到問題積極解決，這樣才能鍛煉你的能力。

掌握了 Hadoop的配置流程之后，那就可以優先使用腳本去配置了，畢竟原理都掌握了，使用腳本真的可以節約時間。

當然，這個腳本也還有很多可以被優化的地方，關于異常的處理還做得不夠好。如果你能深入研究并對這個腳本進行優化，那就更好了。這樣你不僅可以對 Hadoop的配置流程非常熟悉，還可以學到了編寫 shell 腳本的一些經驗。

總結

以上是生活随笔為你收集整理的Hadoop自动安装脚本的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。