Hadoop配置

必看

配置千萬條，網(wǎng)絡(luò)第一條。

配置不規(guī)范，bug改到吐。

內(nèi)外ip要分清，本機(jī)配置內(nèi)ip，連接請用外ip

1.下載上傳插件rz

【安裝命令】：

yum install -y lrzsz

2.上傳hadoop壓縮包

【上傳命令】：

## 上傳壓縮包 rz## 壓縮 tar -zxvf [包名]

3.配置hadoop

(1)編輯.bashrc文件
在所有節(jié)點的.bashrc文件中添加如下內(nèi)容：(也可以在profile文件中添加)

# jdk export JAVA_HOME=/root/jdk1.8.0_241 export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar# hadoop export HADOOP_HOME=/root/hadoop-2.7.1 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbinexport HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH export HADOOP_HOME_WARN_SUPPRESS=1# spark export SPARK_HOME=/root/spark export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

其中JAVA_HOME和HADOOP_HOME需要換成你自己的安裝路徑。

執(zhí)行：source .bashrc使編輯的內(nèi)容生效。

4.編輯/etc/hosts文件

Ip地址主機(jī)名NamenodeSecondary namenodeDatanodeResourceManagerNodeManager

116.85.43.227	hadoop-01	Y	Y	N	Y	N
106.12.48.46	hadoop-02	N	N	Y	N	Y
47.95.0.108	hadoop-03	N	N	Y	N	Y

編輯所有節(jié)點的/etc/hosts文件，

116.85.43.227 hadoop-03 106.12.48.46 hadoop-02 47.95.0.108(本機(jī)在這里要填內(nèi)網(wǎng)ip) hadoop-01

保存退出。

查看下/etc/hostname中的值是否和你的主機(jī)名一致，若不一致，則改成你的主機(jī)名，否則就不需要改。

5.配置hadoop conf

1.編輯hadoop-env.sh,yarn-env.sh文件
編輯所有節(jié)點的hadoop-env.sh文件(位于hadoop/conf/下)
先取消export JAVA_HOME的注釋，然后修改后面的路徑為你自己的安裝路徑

export JAVA_HOME=/root/jdk1.8.0_241

2.編輯core-site.xml文件
編輯所有節(jié)點的core-site.xml文件，添加如下內(nèi)容：

<!-- 指定Hadoop所使用的文件系統(tǒng)schema（URI），HDFS的老大（NameNode）的地址 --> <property> <name>fs.default.name</name> <value>hdfs://hadoop-01:9000</value> </property> <!-- 定Hadoop運行是產(chǎn)生文件的存儲目錄。默認(rèn) --> <property> <name>hadoop.tmp.dir</name> <value>/root/hadoop-2.7.1/tmp</value> </property>

hadoop-01是我的namenode節(jié)點的主機(jī)名，你可以替換成你的namenode節(jié)點的主機(jī)名。

3.編輯hdfs-site.xml,yarn-site.xml文件
編輯所有節(jié)點的hdfs-site.xml文件，添加如下內(nèi)容：

<property> <name>dfs.namenode.name.dir</name> <value>file:/root/hadoop-2.7.1/hadoop_data/hdfs/namenode</value> </property><property> <name>dfs.datanode.data.dir</name> <value>file:/root/hadoop-2.7.1/hadoop_data/hdfs/datanode</value> </property><!-- 指定HDFS副本的數(shù)量，不修改默認(rèn)為3個 --> <property> <name>dfs.replication</name> <value>1</value> </property><property> <name>dfs.namenode.datanode.registration.ip-hostname-check</name> <value>false</value> </property><property> <name>dfs.nameservices</name> <value>hadoop-cluster1</value> </property><property> <name>dfs.namenode.secondary.http-address</name> <value>hadoop-01:50090</value> </property><property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property>

dfs.namenode.name.dir是namenode節(jié)點存放目錄，dfs.datanode.data.dir是datanode節(jié)點的存放目錄，均可以替換成你自己想要存放的路徑。

編輯所有節(jié)點的yarn-site.xml文件，添加如下內(nèi)容：

<property><name>yarn.resourcemanager.hostname</name><value>hadoop-01</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.address</name><value>hadoop-01:8032</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>hadoop-01:8030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>hadoop-01:8031</value></property><property><name>yarn.resourcemanager.admin.address</name><value>hadoop-01:8033</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>hadoop-01:8088</value></property>

4…編輯mapred-site.xml文件
編輯所有節(jié)點的mapred-site.xml文件，添加如下內(nèi)容：

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobtracker.http.address</name><value>hadoop-01:50030</value></property><property><name>mapred.job.tracker</name><value>http://hadoop-01:9001</value></property><property><name>mapreduce.jobhistory.address</name><value>hadoop-01:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop-01:19888</value></property></configuration>

hadoop-01是我的jobtracker節(jié)點的主機(jī)名，你可以替換成你自己的jobtracker節(jié)點所在的主機(jī)名。

5.編輯slaves文件

打開slaves，將localhost替換成
hadoop-02

hadoop-03
保存退出

6.將配置好的hadoop文件復(fù)制到其他節(jié)點上

scp -r /root/hadoop-2.7.1/etc/hadoop root@hadoop-02:/root/hadoop-2.7.1/etc/ scp -r /root/hadoop-2.7.1/etc/hadoop root@hadoop-03:/root/hadoop-2.7.1/etc/

6.運行hadoop

./bin/hdfs namenode -formatsource /etc/profile./start-dfs.sh

總結(jié)

以上是生活随笔為你收集整理的大数据集群安装02之Hadoop配置的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。