在開始之前，確保你具備以下條件：
1，完成了大數據環境基礎配置(1)
2，完成了大數據環境基礎配置(2)
3，如果你完成了前兩項內容，那么現在你應該擁有這個文件。

4，你現在配置好了3臺虛擬主機，主機名和靜態ip如下：
第1臺主機名為hadoop01 靜態ip地址為192.168.100.201
第2臺主機名為hadoop02 靜態ip地址為192.168.100.202
第3臺主機名為hadoop03 靜態ip地址為192.168.100.203

5，你的hadoop01為局域網yum源，且hadoop02,hadoop03正確配置yum源。
6，三臺虛擬機的時鐘是同步的。
7，三臺虛擬機分別關閉了防火墻，且關閉了selinux服務

如果你具備以上條件，那么你可以繼續進行了。

上傳并解壓制作好的hadoop包

在每個虛擬機都創建兩個目錄，servers目錄裝解壓的軟件，softwares目錄裝安裝包

mkdir -p /export/softwares mkdir -p /export/servers

上傳hadoop包到hadoop01的/export/softwares目錄下

把它解壓到剛才創建的servers目錄下

tar -zxvf hadoop-2.6.0-cdh5.14.0-with-centos6.9.tar.gz -C /export/servers/

查看Hadoop支持的壓縮方式以及本地庫

進入解壓好的hadoop目錄

cd /export/servers/hadoop-2.6.0-cdh5.14.0

輸入以下命令

bin/hadoop checknative

如果出現openssl為false，那么所有虛擬機都安裝openssl即可

yum -y install openssl-devel

安裝完畢后，再次執行命令

bin/hadoop checknative

所有的都是true，ok了。

修改配置文件core-site.xml

在hadoop01執行如下命令：

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop vim core-site.xml

<configuration>新增如下內容：

<configuration><property><name>fs.defaultFS</name><value>hdfs://hadoop01:8020</value></property><property><name>hadoop.tmp.dir</name><value>/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas</value></property><!-- 緩沖區大小，實際工作中根據服務器性能動態調整 --><property><name>io.file.buffer.size</name><value>4096</value></property><!-- 開啟hdfs的垃圾桶機制，刪除掉的數據可以從垃圾桶中回收，單位分鐘 --><property><name>fs.trash.interval</name><value>10080</value></property> </configuration>

保存退出

修改配置文件hdfs-site.xml

在hadoop01執行如下命令：

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop vim hdfs-site.xml

<configuration>新增如下內容：

<configuration><!-- NameNode存儲元數據信息的路徑，實際工作中，一般先確定磁盤的掛載目錄，然后多個目錄用，進行分割 --> <!-- 集群動態上下線 <property><name>dfs.hosts</name><value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/accept_host</value></property><property><name>dfs.hosts.exclude</name><value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/deny_host</value></property>--><property><name>dfs.namenode.secondary.http-address</name><value>hadoop01:50090</value></property><property><name>dfs.namenode.http-address</name><value>hadoop01:50070</value></property><property><name>dfs.namenode.name.dir</name><value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value></property><!-- 定義dataNode數據存儲的節點位置，實際工作中，一般先確定磁盤的掛載目錄，然后多個目錄用，進行分割 --><property><name>dfs.datanode.data.dir</name><value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value></property><property><name>dfs.namenode.edits.dir</name><value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value></property><property><name>dfs.namenode.checkpoint.dir</name><value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value></property><property><name>dfs.namenode.checkpoint.edits.dir</name><value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value></property><property><name>dfs.replication</name><value>2</value></property><property><name>dfs.permissions</name><value>false</value></property> <property><name>dfs.blocksize</name><value>134217728</value></property> </configuration>

保存退出

修改配置文件hadoop-env.sh

在hadoop01執行如下命令：

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop vim hadoop-env.sh

找到JAVA_HOME

這里的${JAVA_HOME}可以改為你的jdk絕對路徑

改完之后，保存退出。

修改配置文件mapred-site.xml

在hadoop01執行如下命令：

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop cp mapred-site.xml.template mapred-site.xml vim mapred-site.xml

<configuration>中添加如下內容

<property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.job.ubertask.enable</name><value>true</value></property><property><name>mapreduce.jobhistory.address</name><value>hadoop01:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop01:19888</value></property>

添加完成后，保存退出。

修改配置文件yarn-site.xml

在hadoop01執行如下命令：

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop vim yarn-site.xml

<configuration>中添加如下內容

<configuration><property><name>yarn.resourcemanager.hostname</name><value>hadoop01</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property> </configuration>

保存退出

修改slaves配置文件

在hadoop01執行如下命令：

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop vim slaves

替換為如下內容

hadoop01 hadoop02 hadoop03

保存退出

創建文件存放目錄

創建以下目錄

mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits

把配置好的hadoop復制到其它虛擬機上

cd /export/servers/ scp -r hadoop-2.6.0-cdh5.14.0/ hadoop02:$PWD scp -r hadoop-2.6.0-cdh5.14.0/ hadoop03:$PWD

配置環境變量

注意：在每一臺虛擬機上都要配置

vim /etc/profile.d/hadoop.sh

輸入以下內容：

export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0 export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

保存退出，輸入下面的命令，使配置立即生效

source /etc/profile

啟動hadoop集群

第一次啟動前需要格式化：

hdfs namenode -format

單個節點逐一啟動

在主節點上使用以下命令啟動 HDFS NameNode：

hadoop-daemon.sh start namenode

在每個從節點上使用以下命令啟動 HDFS DataNode：

hadoop-daemon.sh start datanode

在主節點上使用以下命令啟動 YARN ResourceManager：

yarn-daemon.sh start resourcemanager

在每個從節點上使用以下命令啟動 YARN nodemanager：

yarn-daemon.sh start nodemanager

以上腳本位于$HADOOP_PREFIX/sbin/目錄下。如果想要停止某個節點上某個角色，只需要把命令中的start 改為stop 即可。

腳本一鍵啟動HDFS、Yarn

如果配置了 etc/Hadoop/slaves 和 ssh 免密登錄，則可以使用程序腳本啟動所有Hadoop 兩個集群的相關進程，在主節點所設定的機器上執行。
啟動集群
hadoop01節點上執行以下命令

cd /export/servers/hadoop-2.6.0-cdh5.14.0/ sbin/start-dfs.sh sbin/start-yarn.sh

停止集群：沒事兒不要去停止集群

sbin/stop-dfs.sh sbin/stop-yarn.sh

腳本一鍵啟動所有
一鍵啟動集群(cd /export/servers/hadoop-2.6.0-cdh5.14.0/ 再執行下面的命令)

sbin/start-all.sh

一鍵關閉集群

sbin/stop-all.sh

瀏覽器查看啟動頁面

瀏覽器輸入以下地址查看集群啟動頁面

hdfs的訪問地址
http://192.168.100.201:50070/dfshealth.html#tab-overview

yarn的訪問地址
http://192.168.100.201:8088/cluster

總結

以上是生活随笔為你收集整理的Linux CentOS 大数据集群的基础配置(3) CHD分布式环境搭建的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。