2019獨角獸企業重金招聘Python工程師標準>>>

搭建Hadoop1.x，hdfs所總結的記錄，因為知識和經驗不足，里面的錯誤和不清楚的地方請您多多包含，如果有疑問評論我一定會及時回復。

1. 準備三臺以上的機Linux（node1,node2,node3...），這是我的主機版本

2. 相互ping通,最好配置hosts的ip和主機名映射

3. 時間一定要一致（date命令查看）

4. 所有主機之間可以ssh免密碼登陸

5.?所有的機器上要安裝合適的JDK，并配置好JAVA_HOME,CLASS_PATH,PATH這些變量，我配置在了/etc/profile中，也可以配置在 ~/.bash_profile，這兩個目錄文件都可以配置路徑和環境變量。

配置如下：確保所有機器有一樣合適的JDK

6. 關閉防火墻（所有主機）

7. 把hadoop（我安裝的是hadoop-2.5.1）解壓在某個目錄下，開始配置文件

8. 在/hadoop-2.5.1/etc/hadoop/hadoop-env.sh中? 配置JAVA_HOME，在這個文件中找到寫JAVA_HOME的位置，在把自己本機的JAVA_HOME寫上。

9. 在相同的目錄下打開 （vi?core-site.xml），這里配置兩個變量，一個用來指定文件系統訪問的方式和位置（namenode），一個用來指定hadoop工作空間位置。這個位置可以不用手動創建文件夾，格式化之后會自動創建。

10. 配置hdfs-site.xml，這個用來指定通過瀏覽器訪問secondaryNameNode時的端口，具體看下面的。

這個配置好之后，開啟hadoop可以通過瀏覽器IP加下面的端口訪問secondaryNameNode，一個是http協議的一個是https協議的。但請注意，如果要訪問NameNode時，端口號是50070（默認配置的，也可手更換）.

11. 配置slaves（奴隸）文件，也在相同的目錄下，這個文件中指定dataNode的主機，一行寫一個主機，可以寫主機名，也可以寫IP,前提是要有hosts的映射文件。下面就是我的三臺主機。

12. 配置masters,這個文件需要自己創建，這個文件中指定secondaryNameNode的主機，在同目錄下創建。

13.?注意上面配置，不要寫錯，配置好之后，通過scp -r 命令把整個hadoop安裝目錄，發送到其它幾臺主機上，在其它主機上的位置要和這臺主機的位置一模一樣。

14. 為了以后方便直接在任何位置敲hadoop的命令，我們配置一下hadoop的環境變量，就像配置Java環境變量的目的一樣。這個變量可以配置在~/.bash_profile（“~”對應的用戶可以使用）或者配置在/etc/profile（所有用戶都可以使用）中。

15. 然后在把配置環境變量的文件通過scp -r 命令拷貝到其它機器的相同位置上。

16. 開始在nameNode上格式化！命令：hdfs namenode -format?? 注意：等待格式化完成，沒有出現意外的話（格式化狀態代碼返回為：0），就會生成上面（9.步）配置的那個hadoop工作目錄這個目錄下的dfs/name/current中存放下面的這些東西，看到fsimage了嗎？（不要糾結我有多個，因為我不是第一次運行hdfs了。）

17. 啟動hdfs，命令：start-dfs.sh,正常啟動見下圖：看到了嗎，很清楚的寫明了namenode，datanode，secondarynamenode是哪幾臺機器。

18. 可以通過jps命令查看當前主機啟動的java程序，如下：說明我啟動了JPS和NameNode的java程序。（這樣理解可能不準確，自己上網查查）

19. 通過瀏覽器訪問，nameNode，訪問nameNode的主機+端口（50070）：我的即是192.168.1.111:50070,頁面如下:(說明就hdfs初步搭建告成！)

20 .訪問secondaryNameNode：主機+端口（50090或者50091（https））：我的是192.168.1.112：50090

搭建完成，多臺機器搭建其實很簡單的，其本質就是一個簡單的文件系統，我們常用的文件系統有windowsNTFS,linux的樹狀文件系統等

可以使用：關閉hdfs的命令：stop-all.sh。

轉載于:https://my.oschina.net/u/3696405/blog/1542525

總結

以上是生活随笔為你收集整理的Hadoop1.x之hdfs集群搭建的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。