文章目錄

• • 0. 常規解壓安裝，并添加環境變量
  • 1. 下載并覆蓋 bin 文件夾
  • 2. 使VERSION文件的clusterID一致
  • 3. 貼下單機配置
  • 4. 測試 Hadoop
  • 5. 安裝Spark

環境：win 10 + java 1.8.0_281 + Scala 2.11.11 + Hadoop 2.7.7 + Spark2.4.7

0. 常規解壓安裝，并添加環境變量

1. 下載并覆蓋 bin 文件夾

下載 hadooponwindows-master.zip
下載地址：https://pan.baidu.com/s/1o7YTlJO
將下載好的 hadooponwindows-master.zip 解壓，將解壓后的 bin目錄下的所有文件直接覆蓋Hadoop的 bin目錄

2. 使VERSION文件的clusterID一致

Datanode啟動問題 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool

原因是clusterID不一致刪除tmp下的內容從/home/hdp/hadoop/name/current/VERSION 獲得clusterID修改到/home/hdp/hadoop/data/current/VERSION修改保持一致，然后重啟服務

3. 貼下單機配置

core-site.xml

<configuration><property><name>fs.default.name</name><value>hdfs://localhost:9000</value></property><property><name>hadoop.tmp.dir</name><value>/D:/hadoop-2.7.7/data/tmp</value></property> </configuration>

hdfs-site.xml

<configuration><property><name>dfs.replication</name><value>1</value></property><property> <name>dfs.namenode.name.dir</name> <value>file:/D:/hadoop-2.7.7/data/namenode</value></property> <property> <name>dfs.datanode.data.dir</name> <value>file:/D:/hadoop-2.7.7/data/datanode</value></property></configuration>

mapred-site.xml

<configuration><property><name>mapreduce.job.user.name</name><value>%USERNAME%</value></property><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>yarn.apps.stagingDir</name><value>/user/%USERNAME%/staging</value></property><property><name>mapreduce.jobtracker.address</name><value>local</value></property> </configuration>

yarn-site.xml

<configuration><!-- nodemanager要求的內存最低為1024 --><property><name>yarn.nodemanager.resource.memory-mb</name><value>1024</value></property><property><name>yarn.nodemanager.resource.cpu-vcores</name><value>1</value></property> </configuration>

• D:\hadoop-2.7.7\etc\hadoop\hadoop-env.cmd

更改1行 set JAVA_HOME=D:\Java\jdk1.8.0_281末尾追加4行 set HADOOP_PREFIX=%HADOOP_HOME% set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop set YARN_CONF_DIR=%HADOOP_CONF_DIR% set PATH=%PATH%;%HADOOP_PREFIX%\bin

4. 測試 Hadoop

• 格式化，啟動

hadoop namenode -format start-dfs.cmd start-yarn.cmd

• jps 查看進程

• 網頁能打開

http://localhost:8088/cluster

http://localhost:50070

• 創建 hdfs 文件夾，并查看

hadoop fs -mkdir hdfs://localhost:9000/user/ hdfs dfs -ls /

5. 安裝Spark

參考：https://blog.csdn.net/weixin_45092662/article/details/107490615

• 添加 環境變量 + Path

PS C:\Users\xxx> spark-shell.cmd Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties Setting default log level to "WARN". To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel). Spark context Web UI available at http://windows10.microdone.cn:4040 Spark context available as 'sc' (master = local[*], app id = local-1619526523582). Spark session available as 'spark'. Welcome to____ __/ __/__ ___ _____/ /___\ \/ _ \/ _ `/ __/ '_//___/ .__/\_,_/_/ /_/\_\ version 2.4.7/_/Using Scala version 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_281) Type in expressions to have them evaluated. Type :help for more information.

總結

以上是生活随笔為你收集整理的WIN 10 安装 Hadoop 2.7.7 + Spark 2.4.7 记录的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。