環(huán)境：Win10 64位 + Java8 + Hadoop2.7.5

為什么不安裝Java9？
因為裝完了Hadoop，下一步要裝Spark，而Spark適配的Scala版本是2.11，而Scala2.11適配Java8。

---

1. 安裝Java8并配置

下載安裝
上官網(wǎng)http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html下載64位的jdk8，雙擊exe文件執(zhí)行安裝。（安裝目錄最好不要帶空格）

配置環(huán)境變量

• 新建環(huán)境變量JAVA_HOME，值為jdk安裝目錄（我的是C:\Install\jdk1.8.0_161）
• 新建環(huán)境變量JRE_HOME，值為jre安裝目錄（我的是C:\Install\jre）
• 新建環(huán)境變量CLASSPATH，值為.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar
• 在環(huán)境變量path里添加%JAVA_HOME%\bin和%JRE_HOME%\bin
• 最后在終端輸入java -version，出現(xiàn)類似如下結(jié)果即可：

java version "1.8.0_161" Java(TM) SE Runtime Environment (build 1.8.0_161-b12) Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)

---

2. 安裝Hadoop并配置

1.官網(wǎng)http://hadoop.apache.org/releases.html下載Hadoop2.7.5，解壓至安裝目錄
2.上https://pan.baidu.com/s/1_C4TALLBW9TbIrJMC4JKtA 密碼: dc63 下載一個支持在windows運行hadoop的工具，解壓，用解壓后的bin目錄覆蓋hadoop的bin目錄（親測這個工具適用于hadoop2.5和2.7，其他的尚且不知）
3.新建環(huán)境變量HADOOP_HOME， 值為hadoop安裝目錄（我這里是C:\Install\hadoop-2.7.5）
4.將%HADOOP_HOME\bin%添加至環(huán)境變量path
5.在C:/Install/hadoop-2.7.5目錄新建workplace目錄，進入workplace，新建子文件夾temp、data、name
6.修改hadoop配置文件

編輯C:\Install\hadoop-2.7.5\etc\hadoop\core-site.xml

<configuration><property><name>hadoop.tmp.dir</name><value>/C:/Install/hadoop-2.7.5/workplace/temp</value></property><property><name>dfs.name.dir</name><value>/C:/Install/hadoop-2.7.5/workplace/name</value></property><property><name>fs.default.name</name><value>hdfs://localhost:9000</value></property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property> </configuration>

編輯C:\Install\hadoop-2.7.5\etc\hadoop\mapred-site.xml

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapred.job.tracker</name><value>hdfs://localhost:9001</value></property> </configuration>

編輯C:\Install\hadoop-2.7.5\etc\hadoop\hdfs-site.xml

<configuration><!-- 這個參數(shù)設(shè)置為1，因為是單機版hadoop --><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.data.dir</name><value>/D:/dev/hadoop-2.5.2/workplace/data</value></property><property><name>dfs.namenode.name.dir</name><value>/C:/Install/hadoop-2.7.5/workplace/name</value></property><property><name>dfs.datanode.data.dir</name><value>/C:/Install/hadoop-2.7.5/workplace/data</value></property> </configuration>

編輯C:\Install\hadoop-2.7.5\etc\hadoop\yarn-site.xml

<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property> </configuration>

編輯C:\Install\hadoop-2.7.5\etc\hadoop\hadoop-env.cmd
找到set JAVA_HOME=%JAVA_HOME%， 將%JAVA_HOME%替換為C:\Install\jdk1.8.0_161

7.終端運行hdfs namenode -format，出現(xiàn)類似INFO util.ExitUtil: Exiting with status 0則說明沒有錯
8.切換到hadoop的sbin目錄，執(zhí)行start-all.cmd
9.終端輸入jps，看到如下的結(jié)果即可

C:\Users\xiligey>jps 8496 10840 ResourceManager 16168 Jps 10604 NameNode 11084 DataNode 11180 NodeManager

---

3. web ui界面

http://localhost:8088/cluster
http://localhost:50070/dfshealth.html#tab-overview

---

轉(zhuǎn)載：本文非原創(chuàng)，參考自https://blog.csdn.net/antgan/article/details/52067441，感謝作者

總結(jié)

以上是生活随笔為你收集整理的在Win10安装上Hadoop2.7.5伪分布式集群的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。