首先使用的是jdk1.8，將jdk 添加到環(huán)境變量中，hadoop 路徑添加到環(huán)境變量中。

vim /etc/profile #設(shè)置Hadoop環(huán)境變量 export HADOOP_HOME=/usr/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin export JAVA_HOME=/opt/java1.8 export PATH$PATH:JAVA_HOME/bin

然后配置文件修改，對應(yīng)的目錄/usr/hadoop/etc/hadoop/

修改etc/hadoop/core-site.xml

vim /usr/hadoop/etc/hadoop/core-site.xml#設(shè)置configuration <configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property> </configuration>

修改etc/hadoop/hdfs-site.xml

vim /usr/hadoop/etc/hadoop/hdfs-site.xml#設(shè)置configuration <configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>/opt/hadoop/data/dfs/namenode</value></property><property><name>dfs.datanode.data.dir</name><value>/opt/hadoop/data/dfs/datanode</value></property> </configuration>

或者直接寫：

<property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property><!-- 用來指定Hadoop運行時產(chǎn)生文件的存放目錄 --><property><name>hadoop.tmp.dir</name><value>/opt/CI/hadoop-3.1.0/HadoTmp</value></property>

修改etc\hadoop\mapred-site.xml

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property> </configuration

修改etc\hadoop\yarn-site.xml

<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property> </configuration>

然后在hadoop-env.sh 配置如下：

JAVA_HOME=/usr/java1.8

然后先執(zhí)行：

?

hadoop namenode -format? ?//初始化 hdfs

然后執(zhí)行 start-all.sh 報錯：

hadoop3.1 需要配置上述報錯的用戶名，在hadoop-env.sh文件中：

# JAVA_HOME export JAVA_HOME=/home/root/jdk/jdk1.8.0_171# USERS export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root export HDFS_SECONDARYNAMENODE_USER=rootexport YARN_RESOURCEMANAGER_USER=root export YARN_NODEMANAGER_USER=root

------------------------------------------------------------------------啟動----------------------------------------------------------------------------

首先執(zhí)行：bin/hdfs namenode -format

然后?啟動namenode和datanode守護進程

sbin/start-dfs.sh

報錯：

需要設(shè)置 ssh 免密碼登錄：

解決方式：SSH-permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)

?

?

?

?

總結(jié)

以上是生活随笔為你收集整理的Linux上搭建伪集群 Hadoop3.1的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。