?

一、簡述

?本次集群安裝基于4臺虛擬集群下進行。

hadoop版本使用 2.6.4

操作系統為 centos6.5

jdk版本為 jdk-7u67-linux-x64.tar.gz

二、準備

創建hadoop用戶

?

#分別在4臺機器中創建hadoop用戶
useradd hadoop#給hadoop用戶授權——如下【圖1】
vi /etc/sudoers

【圖1】

?

下載hadoop安裝包

?https://archive.apache.org/dist/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz

?

下載jdk安裝包??

?https://download.csdn.net/download/u014414323/10420850

?

上傳文件到linux

解壓jdk、hadoop安裝包并設置環境變量

#解壓JDK安裝包
tar -zvxf jdk-7u67-linux-x64.tar.gz -C ../apps/#解壓hadoop安裝包
tar -zvxf hadoop-2.6.4.tar.gz  -C ../apps/#設置jdk、hadoop 環境變量sudo vi /etc/profile#文件最后追加以下3行
export JAVA_HOME=/home/hadoop/apps/jdk1.7.0_67
export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.4
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin#讓環境變量生效
source /etc/profile

?

?

三、hadoop配置

?hadoop安裝包解壓目錄說明

[hadoop@min1 ~]$ ll apps/hadoop-2.6.4/
總用量 52
drwxrwxr-x. 2 hadoop hadoop  4096 3月   8 2016 bin         #存放hadoop自身的操作命令
drwxrwxr-x. 3 hadoop hadoop  4096 3月   8 2016 etc         #存放配置文件
drwxrwxr-x. 2 hadoop hadoop  4096 3月   8 2016 include     #存放c語言本地庫的一些頭文件
drwxrwxr-x. 3 hadoop hadoop  4096 3月   8 2016 lib         #存放本地庫
drwxrwxr-x. 2 hadoop hadoop  4096 3月   8 2016 libexec
-rw-r--r--. 1 hadoop hadoop 15429 3月   8 2016 LICENSE.txt
-rw-r--r--. 1 hadoop hadoop   101 3月   8 2016 NOTICE.txt
-rw-r--r--. 1 hadoop hadoop  1366 3月   8 2016 README.txt
drwxrwxr-x. 2 hadoop hadoop  4096 3月   8 2016 sbin         #存放hadoop框架啟動管理的命令
drwxrwxr-x. 4 hadoop hadoop  4096 3月   8 2016 share        #存放文檔與jar包

偽分布式需要修改5個配置文件?

第一個：hadoop-env.sh
?? ???

?vim hadoop-env.sh#第27行export JAVA_HOME=/home/hadoop/apps/jdk1.7.0_67

?? ??? ?
?? ??? ?
?? ?第二個：core-site.xml

?? ???

 ?<!-- 指定HADOOP所使用的文件系統schema（URI），HDFS的老大（NameNode）的地址 --><property><name>fs.defaultFS</name><value>hdfs://min1:9000</value></property><!-- 指定hadoop運行時產生文件的存儲目錄 --><property><name>hadoop.tmp.dir</name><value>/home/hadoop/apps/hadoop-2.6.4/tmp</value></property>

?? ??? ?
?? ?第三個：hdfs-site.xml ??
?? ??? ?

<!-- 指定HDFS副本的數量 --><property><name>dfs.replication</name><value>3</value></property>
<!-- 指定secondary namenode地址 --><property><name>dfs.secondary.http.address</name><value>min1:50090</value></property>

? ??
? ??
?? ??? ?
?? ?第四個：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
?? ???

 #重命名?mv mapred-site.xml.template mapred-site.xml#編輯vim mapred-site.xml

<!-- 指定mr運行在yarn上，默認為local（表示讓mr在本地機器運行） --><property><name>mapreduce.framework.name</name><value>yarn</value></property>

????第五個：yarn-site.xml
???

?????<!-- 指定YARN的老大（ResourceManager）的地址 --><property><name>yarn.resourcemanager.hostname</name><value>min1</value></property><!-- reducer獲取數據的方式 --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>

?把上述min1配置好的文件內容全部拷貝到其他集群機器（min2、min3、min4）中(可通過人機交互腳本實現自動化處理)

 scp -r apps/ min2:/home/hadoop/scp -r apps/ min3:/home/hadoop/scp -r apps/ min4:/home/hadoop/#拷貝環境變量配置文件sudo scp /etc/profile min2:/etc/sudo scp /etc/profile min3:/etc/sudo scp /etc/profile min4:/etc/#使環境變生效（將命令發送給4臺機器執行）source /etc/profile

格式化namenode（是對namenode進行初始化,namenode存放著文件存放的索引地址）

hadoop namenode -format

?單獨啟動 namenode?

hadoop-daemon.sh  start namenode

?

訪問namenode網頁界面：

http://min1:50070/

?

單獨啟動 datanode?

hadoop-daemon.sh  start datanode

?

更多常用命令詳情查看：https://blog.csdn.net/u013490585/article/details/83012749

slaves 文件作用說明

一般在集群中你唯一地選擇一臺機器作為 NameNode ，一臺機器作為 ResourceManager，這是master ?(主)。

那么 ，集群中剩下的機器作為DataNode 和 NodeManager。這些是slaves ?(從)。

在你的 hadoop目錄/etc/hadoop/slaves 文件上列出全部slave機器名或IP地址，一個一行如下：

[hadoop@min1 hadoop]$ vi slaves #slaves 編輯內容如下
min2
min3
min4

四、免密登錄

生成ssh免登陸密鑰

ssh-keygen

執行完這個命令后，會生成兩個文件id_rsa（私鑰）、id_rsa.pub（公鑰）?

?

將公鑰拷貝到要免密登陸的目標機器上

[hadoop@min1 ~]$ ssh-copy-id min1
hadoop@min1's password: 
Now try logging into the machine, with "ssh 'min1'", and check in:.ssh/authorized_keysto make sure we haven't added extra keys that you weren't expecting.[hadoop@min1 ~]$ ssh-copy-id min2
hadoop@min2's password: 
Now try logging into the machine, with "ssh 'min2'", and check in:.ssh/authorized_keysto make sure we haven't added extra keys that you weren't expecting.[hadoop@min1 ~]$ ssh-copy-id min3
hadoop@min3's password: 
Now try logging into the machine, with "ssh 'min3'", and check in:.ssh/authorized_keysto make sure we haven't added extra keys that you weren't expecting.[hadoop@min1 ~]$ ssh-copy-id min4
hadoop@min4's password: 
Now try logging into the machine, with "ssh 'min4'", and check in:.ssh/authorized_keysto make sure we haven't added extra keys that you weren't expecting.

啟動hadoop

start-all.sh

查看各機器進程啟動情況

關閉hadoop

?

?

總結

以上是生活随笔為你收集整理的hadoop集群安装的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。