文章目錄

• • 1.簡述
  • 2. 安裝步驟
  • • 1. linux環境準備
    • • 1.基礎環境規劃
      • 2. host配置和主機名（四臺）
      • 3. 安裝jdk
    • 2. linux免密登錄配置
    • • 1. 關閉四臺服務器的防火墻和SELINUX
      • 2. 免密碼登錄
      • • 1. 保證本機能夠免密登錄本機
        • 2. 設置機器之間的免密登錄
    • 3. hadoop 安裝
    • • 1. master上 解壓縮安裝包及創建基本目錄
      • 2. 配置master的hadoop環境變量
      • 3. 配置相關配置文件
      • 4.配置slave的hadoop環境
      • 5.啟動集群
      • 6. 使用瀏覽器查看集群情況
  • 3. 補充
  • 1. 如何重置
  • 2. JAVA_HOME報錯

1.簡述

整個安裝步驟主要分為三步

linux環境準備

設置ssh免密

安裝hadoop

本次安裝的操作系統環境為centos6.8
hadoop版本為2.6.0

下載hadooop
wget https://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz

2. 安裝步驟

1. linux環境準備

1.基礎環境規劃

本次安裝的操作系統環境為centos6.8, 8G,8Core
集群規劃 4個節點，一個master，3個slave
對應的ip:hostname為

10.76.0.98 dev-search-01.test 10.76.3.145 dev-search-02.test 10.76.0.129 dev-search-03.test 10.76.5.198 stag-search-03.test

可以直接執行 hostname命令來查看本機對應的hostname

hostname dev-search-01.test

dev-search-01.test 作為master，其他三臺為數據節點slave

jdk為1.8
hadoop版本為2.6.0，下載地址為https://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz

2. host配置和主機名（四臺）

修改四臺服務器的hosts文件

10.76.0.98 dev-search-01.test 10.76.3.145 dev-search-02.test 10.76.0.129 dev-search-03.test 10.76.5.198 stag-search-03.test

使相互之間能夠通過后面的hostname ping通

3. 安裝jdk

這個可以使用yum安裝也可以手動下載安裝，
下載過程不再詳述
配置環境變量，修改配置文件vim /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_91 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

使用souce命令讓立刻生效

source /etc/profile

安裝完成后能夠實現

[root@dev-search-01 sbin]# java -version java version "1.8.0_91" Java(TM) SE Runtime Environment (build 1.8.0_91-b14) Java HotSpot(TM) 64-Bit Server VM (build 25.91-b14, mixed mode)

即代表安裝成功

2. linux免密登錄配置

這個屬于linux配置的技能，核心就是關閉防火墻以及每個機器都保留其他機器的公鑰，登錄的時候直接使用公私鑰加解密

1. 關閉四臺服務器的防火墻和SELINUX

查看防火墻狀態

service iptables status

關閉防火墻

service iptables stop chkconfig iptables off

關閉SELINUX后，需要重啟服務器

-- 關閉SELINUX # vim /etc/selinux/config -- 注釋掉 #SELINUX=enforcing #SELINUXTYPE=targeted -- 添加 SELINUX=disabled

2. 免密碼登錄

1. 保證本機能夠免密登錄本機

生產秘鑰

ssh-keygen -t rsa

將公鑰追加到”authorized_keys”文件

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

賦予權限

chmod 600 .ssh/authorized_keys

驗證本機能無密碼訪問
ssh dev-search-01.test
最后，依次配置其他幾臺服務器的無密碼訪問

2. 設置機器之間的免密登錄

對于服務器dev-search-01.test 來說,將

dev-search-02.test dev-search-03.test stag-search-03.test

剛才產生的公鑰都追加到 dev-search-01.test的 ~/.ssh/authorized_keys當中即可
達到的效果是從dev-search-01.test可以執行

ssh dev-search-02.test

同樣的，對其他幾臺服務器執行相同的操作。

3. hadoop 安裝

1. master上 解壓縮安裝包及創建基本目錄

#下載
wget https://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz
#解壓
tar -xzvf hadoop-2.6.0.tar.gz -C /usr/local
#重命名
mv hadoop-2.6.0 hadoop

2. 配置master的hadoop環境變量

配置環境變量，修改配置文件vi /etc/profile

export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin

使得hadoop命令在當前終端立即生效

source /etc/profile

3. 配置相關配置文件

下面配置，文件都在：/usr/local/hadoop/etc/hadoop路徑下
1.配置core-site.xml
修改Hadoop核心配置文件/usr/local/hadoop/etc/hadoop/core-site.xml，通過fs.default.name指定NameNode的IP地址和端口號，通過hadoop.tmp.dir指定hadoop數據存儲的臨時文件夾。

<configuration><property><name>hadoop.tmp.dir</name><value>file:/usr/local/hadoop/tmp</value><description>Abase for other temporary directories.</description></property><property><name>fs.defaultFS</name><value>hdfs://dev-search-01.test:9000</value></property> </configuration>

特別注意：如沒有配置hadoop.tmp.dir參數，此時系統默認的臨時目錄為：/tmp/hadoo-hadoop。而這個目錄在每次重啟后都會被刪除，必須重新執行format才行，否則會出錯。

2.配置hdfs-site.xml：

修改HDFS核心配置文件/usr/local/hadoop/etc/hadoop/hdfs-site.xml，通過dfs.replication指定HDFS的備份因子為3，通過dfs.name.dir指定namenode節點的文件存儲目錄，通過dfs.data.dir指定datanode節點的文件存儲目錄。

<configuration><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.name.dir</name><value>/usr/local/hadoop/hdfs/name</value></property><property><name>dfs.data.dir</name><value>/usr/local/hadoop/hdfs/data</value></property> </configuration>

3.配置mapred-site.xml

拷貝mapred-site.xml.template為mapred-site.xml，在進行修改

cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml vim /usr/local/hadoop/etc/hadoop/mapred-site.xml <configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapred.job.tracker</name><value>http://dev-search-01.test:9001</value></property> </configuration>

4.配置yarn-site.xml

<configuration> <!-- Site specific YARN configuration properties --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.hostname</name><value>dev-search-01.test</value></property> </configuration>

5.配置masters文件

增加 /usr/local/hadoop/etc/hadoop/masters文件，該文件指定namenode節點所在的服務器機器。刪除localhost，添加namenode節點的主機名dev-search-01.test；不建議使用IP地址，因為IP地址可能會變化，但是主機名一般不會變化。

vi /usr/local/hadoop/etc/hadoop/masters ## 內容 dev-search-01.test

6.配置slaves文件（Master主機特有）

修改/usr/local/hadoop/etc/hadoop/slaves文件，該文件指定哪些服務器節點是datanode節點。刪除locahost，添加所有datanode節點的主機名，如下所示。

vi /usr/local/hadoop/etc/hadoop/slaves ## 內容 dev-search-02.test dev-search-03.test stag-search-03.test

4.配置slave的hadoop環境

下面以配置dev-search-02.test的hadoop為例進行演示，用戶需參照以下步驟完成其他slave服務器的配置。

1.復制hadoop到dev-search-02.test節點

scp -r /usr/local/hadoop dev-search-02.test:/usr/local/

登錄dev-search-02.test服務器，刪除slaves內容

rm -rf /usr/local/hadoop/etc/hadoop/slaves

2.配置環境變量

vi /etc/profile ## 內容 export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin

使得hadoop命令在當前終端立即生效；

source /etc/profile

依次配置其它slave服務

5.啟動集群

1.格式化HDFS文件系統

進入master的/usr/local/hadoop目錄，執行以下操作

bin/hadoop namenode -format

格式化namenode，第一次啟動服務前執行的操作，以后不需要執行。

2.啟動hadoop：

sbin/start-all.sh

3.使用jps命令查看運行情況

#master 執行 jps查看運行情況 12067 NameNode 12347 SecondaryNameNode 25341 Jps 12573 ResourceManager#slave 執行 jps查看運行情況 17104 NodeManager 16873 DataNode 21676 Jps

4.命令查看Hadoop集群的狀態

通過簡單的jps命令雖然可以查看HDFS文件管理系統、MapReduce服務是否啟動成功，但是無法查看到Hadoop整個集群的運行狀態。我們可以通過hadoop dfsadmin -report進行查看。用該命令可以快速定位出哪些節點掛掉了，HDFS的容量以及使用了多少，以及每個節點的硬盤使用情況。

hadoop dfsadmin -report

輸出結果：

DEPRECATED: Use of this script to execute hdfs command is deprecated. Instead use the hdfs command for it.20/08/05 10:36:03 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Configured Capacity: 158262480896 (147.39 GB) Present Capacity: 106997108736 (99.65 GB) DFS Remaining: 106996961280 (99.65 GB) DFS Used: 147456 (144 KB) DFS Used%: 0.00% Under replicated blocks: 0 Blocks with corrupt replicas: 0 Missing blocks: 0------------------------------------------------- Live datanodes (3): ... ...

5.hadoop 重啟

sbin/stop-all.sh sbin/start-all.sh

6. 使用瀏覽器查看集群情況

在瀏覽器打開

http://dev-search-01.test:50070/

可以看到hadoop集群的狀態

使用

http://dev-search-01.test:8088/cluster/nodes

可以看到yarn的工作狀態

3. 補充

格式化時候的日志，生成了/usr/local/hadoop/hdfs/name目錄
也就是說這個目錄是hadoop的數據目錄

[root@dev-search-01 hadoop]# bin/hadoop namenode -format DEPRECATED: Use of this script to execute hdfs command is deprecated. Instead use the hdfs command for it.20/08/04 18:51:04 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = dev-search-01.test/10.76.0.98 STARTUP_MSG: args = [-format] STARTUP_MSG: version = 2.6.0 STARTUP_MSG: classpath = /.........trib/capacity-scheduler/*.jar:/usr/local/hadoop/contrib/capacity-scheduler/*.jar STARTUP_MSG: build = https://git-wip-us.apache.org/repos/asf/hadoop.git -r e3496499ecb8d220fba99dc5ed4c99c8f9e33bb1; compiled by 'jenkins' on 2014-11-13T21:10Z STARTUP_MSG: java = 1.8.0_91 ************************************************************/ 20/08/04 18:51:04 INFO namenode.NameNode: registered UNIX signal handlers for [TERM, HUP, INT] 20/08/04 18:51:04 INFO namenode.NameNode: createNameNode [-format] 20/08/04 18:51:04 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 20/08/04 18:51:04 WARN common.Util: Path /usr/local/hadoop/hdfs/name should be specified as a URI in configuration files. Please update hdfs configuration. 20/08/04 18:51:04 WARN common.Util: Path /usr/local/hadoop/hdfs/name should be specified as a URI in configuration files. Please update hdfs configuration. Formatting using clusterid: CID-48367cf0-3528-4278-b35a-5c8b7ce56693 20/08/04 18:51:04 INFO namenode.FSNamesystem: No KeyProvider found. 20/08/04 18:51:04 INFO namenode.FSNamesystem: fsLock is fair:true 20/08/04 18:51:04 INFO blockmanagement.DatanodeManager: dfs.block.invalidate.limit=1000 20/08/04 18:51:04 INFO blockmanagement.DatanodeManager: dfs.namenode.datanode.registration.ip-hostname-check=true 20/08/04 18:51:04 INFO blockmanagement.BlockManager: dfs.namenode.startup.delay.block.deletion.sec is set to 000:00:00:00.000 20/08/04 18:51:04 INFO blockmanagement.BlockManager: The block deletion will start around 2020 Aug 04 18:51:04 20/08/04 18:51:04 INFO util.GSet: Computing capacity for map BlocksMap 20/08/04 18:51:04 INFO util.GSet: VM type = 64-bit 20/08/04 18:51:04 INFO util.GSet: 2.0% max memory 889 MB = 17.8 MB 20/08/04 18:51:04 INFO util.GSet: capacity = 2^21 = 2097152 entries 20/08/04 18:51:05 INFO blockmanagement.BlockManager: dfs.block.access.token.enable=false 20/08/04 18:51:05 INFO blockmanagement.BlockManager: defaultReplication = 3 20/08/04 18:51:05 INFO blockmanagement.BlockManager: maxReplication = 512 20/08/04 18:51:05 INFO blockmanagement.BlockManager: minReplication = 1 20/08/04 18:51:05 INFO blockmanagement.BlockManager: maxReplicationStreams = 2 20/08/04 18:51:05 INFO blockmanagement.BlockManager: shouldCheckForEnoughRacks = false 20/08/04 18:51:05 INFO blockmanagement.BlockManager: replicationRecheckInterval = 3000 20/08/04 18:51:05 INFO blockmanagement.BlockManager: encryptDataTransfer = false 20/08/04 18:51:05 INFO blockmanagement.BlockManager: maxNumBlocksToLog = 1000 20/08/04 18:51:05 INFO namenode.FSNamesystem: fsOwner = root (auth:SIMPLE) 20/08/04 18:51:05 INFO namenode.FSNamesystem: supergroup = supergroup 20/08/04 18:51:05 INFO namenode.FSNamesystem: isPermissionEnabled = true 20/08/04 18:51:05 INFO namenode.FSNamesystem: HA Enabled: false 20/08/04 18:51:05 INFO namenode.FSNamesystem: Append Enabled: true 20/08/04 18:51:05 INFO util.GSet: Computing capacity for map INodeMap 20/08/04 18:51:05 INFO util.GSet: VM type = 64-bit 20/08/04 18:51:05 INFO util.GSet: 1.0% max memory 889 MB = 8.9 MB 20/08/04 18:51:05 INFO util.GSet: capacity = 2^20 = 1048576 entries 20/08/04 18:51:05 INFO namenode.NameNode: Caching file names occuring more than 10 times 20/08/04 18:51:05 INFO util.GSet: Computing capacity for map cachedBlocks 20/08/04 18:51:05 INFO util.GSet: VM type = 64-bit 20/08/04 18:51:05 INFO util.GSet: 0.25% max memory 889 MB = 2.2 MB 20/08/04 18:51:05 INFO util.GSet: capacity = 2^18 = 262144 entries 20/08/04 18:51:05 INFO namenode.FSNamesystem: dfs.namenode.safemode.threshold-pct = 0.9990000128746033 20/08/04 18:51:05 INFO namenode.FSNamesystem: dfs.namenode.safemode.min.datanodes = 0 20/08/04 18:51:05 INFO namenode.FSNamesystem: dfs.namenode.safemode.extension = 30000 20/08/04 18:51:05 INFO namenode.FSNamesystem: Retry cache on namenode is enabled 20/08/04 18:51:05 INFO namenode.FSNamesystem: Retry cache will use 0.03 of total heap and retry cache entry expiry time is 600000 millis 20/08/04 18:51:05 INFO util.GSet: Computing capacity for map NameNodeRetryCache 20/08/04 18:51:05 INFO util.GSet: VM type = 64-bit 20/08/04 18:51:05 INFO util.GSet: 0.029999999329447746% max memory 889 MB = 273.1 KB 20/08/04 18:51:05 INFO util.GSet: capacity = 2^15 = 32768 entries 20/08/04 18:51:05 INFO namenode.NNConf: ACLs enabled? false 20/08/04 18:51:05 INFO namenode.NNConf: XAttrs enabled? true 20/08/04 18:51:05 INFO namenode.NNConf: Maximum size of an xattr: 16384 20/08/04 18:51:05 INFO namenode.FSImage: Allocated new BlockPoolId: BP-766871960-10.76.0.98-1596538265437 20/08/04 18:51:05 INFO common.Storage: Storage directory /usr/local/hadoop/hdfs/name has been successfully formatted. 20/08/04 18:51:05 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0 20/08/04 18:51:05 INFO util.ExitUtil: Exiting with status 0 20/08/04 18:51:05 INFO namenode.NameNode: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at dev-search-01.test/10.76.0.98 ************************************************************/ [root@dev-search-01 hadoop]# ll total 56 drwxr-xr-x 2 20000 20000 4096 Nov 14 2014 bin drwxr-xr-x 3 20000 20000 4096 Nov 14 2014 etc drwxr-xr-x 3 root root 4096 Aug 4 18:51 hdfs drwxr-xr-x 2 20000 20000 4096 Nov 14 2014 include drwxr-xr-x 3 20000 20000 4096 Nov 14 2014 lib drwxr-xr-x 2 20000 20000 4096 Nov 14 2014 libexec -rw-r--r-- 1 20000 20000 15429 Nov 14 2014 LICENSE.txt -rw-r--r-- 1 20000 20000 101 Nov 14 2014 NOTICE.txt -rw-r--r-- 1 20000 20000 1366 Nov 14 2014 README.txt drwxr-xr-x 2 20000 20000 4096 Nov 14 2014 sbin drwxr-xr-x 4 20000 20000 4096 Nov 14 2014 share [root@dev-search-01 hadoop]# cd hdfs/ [root@dev-search-01 hdfs]# ll total 4 drwxr-xr-x 3 root root 4096 Aug 4 18:51 name [root@dev-search-01 hdfs]# cd name/ [root@dev-search-01 name]# ll total 4 drwxr-xr-x 2 root root 4096 Aug 4 18:51 current [root@dev-search-01 name]# cd current/ [root@dev-search-01 current]# ll total 16 -rw-r--r-- 1 root root 351 Aug 4 18:51 fsimage_0000000000000000000 -rw-r--r-- 1 root root 62 Aug 4 18:51 fsimage_0000000000000000000.md5 -rw-r--r-- 1 root root 2 Aug 4 18:51 seen_txid -rw-r--r-- 1 root root 201 Aug 4 18:51 VERSION [root@dev-search-01 current]#

1. 如何重置

參考這里
把namenode的目錄和datanode的目錄都刪掉
然后重新走格式化就ok了

<configuration><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.name.dir</name><value>/usr/local/hadoop/hdfs/name</value></property><property><name>dfs.data.dir</name><value>/usr/local/hadoop/hdfs/data</value></property> </configuration>

2. JAVA_HOME報錯

如果JAVA_HOME已經設置了，啟動的時候有可能還會報錯

Error: JAVA_HOME is not set and could not be found.

這個時候打開etc/hadoop/hadoop-env.sh
可以看到里面有引用，

export JAVA_HOME=${JAVA_HOME}

在上面再加一句，把實際的java_home加上

JAVA_HOME="/usr/local/jdk1.8.0_91" export JAVA_HOME=${JAVA_HOME}

主要參考了
http://www.ityouknow.com/hadoop/2017/07/24/hadoop-cluster-setup.html
https://juejin.im/post/6854573210311557127

總結

以上是生活随笔為你收集整理的hadoop2.6.0安装详细步骤的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。