Hadoop集群搭建

?

1.修改/etc/hosts文件

在每臺linux機器上，sudo vim /etc/hosts 編寫hosts文件。將主機名和ip地址的映射填寫進去。編輯完后，結果如下：

?

?

2.配置ssh，實現無密碼登錄

? 四臺虛擬機上，使用：?ssh-keygen -t rsa? 一路回車就行了

? master上將公鑰放到authorized_keys里。命令：:

sudo cat id_rsa.pub >> authorized_keys

? 將master上的authorized_keys放到其他linux的~/.ssh目錄下。

sudo scp authorized_keys cjpt@132.228.28.183:~/.ssh

? 修改authorized_keys權限，命令：chmod 644 authorized_keys

? 測試是否成功

ssh cjpt@132.228.28.183

輸入用戶名密碼，然后退出，再次ssh hostbb不用密碼，直接進入系統。這就表示成功了

?

3.上傳jdk，并配置環境變量

? 下載java，解壓縮放到/usr/lib/jvm路徑下

? 在.bash_profile文件添加環境變量，vim ~/.bash_profile：

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_60 export JRE_HOME=/usr/lib/jvm/jdk1.7.0_60/jre

? source ~/.bash_profile，使配置生效

?

4.上傳hadoop，并配置hadoop

4.1. 下載hadoop包，解壓縮到本地路徑

4.2.??? 修改環境變量，將hadoop加進去

vim ~/.bashrc

export HADOOP_PREFIX=/home/cjpt/hadoop-2.2.0.2.0.6.0-76 export HADOOP_HOME=/home/cjpt/hadoop-2.2.0.2.0.6.0-76 export PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

?4.3.??? 修改hadoop/etc/hadoop/下面的配置文件

• ? hadoop-env.sh

?

注意：JAVA_HOME必須是絕對路徑，不然會報錯

• ? core-site.xml

?

• ? hdfs-site.xml，

?

• ? mapred-site.xml，

?

• ? master，

?

• slave，

?

上面的hadoop-env.sh，core-site.xml，mapred-site.xml，hdfs-site.xml，master，slave幾個文件，在四臺linux中都是一樣的。

配置完一臺電腦后，可以將hadoop包，直接拷貝到其他電腦上。

?

4.4.??? 讓hadoop配置生效

source hadoop-env.sh

4.5.??? 格式化namenode，只格式一次

hadoop namenode –format

4.6.??? 啟動hadoop

切到hadoop/sbin目錄下，執行 start-all.sh啟動所有程序

./start-all.sh

4.7.??? 查看進程，是否啟動

jps

• ? master主機：

?

• ? slave機器：

?

?

轉載于:https://www.cnblogs.com/jeakeven/p/5855605.html

總結

以上是生活随笔為你收集整理的大数据 -- Hadoop集群搭建的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。