全局分布式集群搭建

注： 如果之前搭建過(guò)偽分布式集群，則必須刪除就hadoop的jar包，重新解壓，因?yàn)橹芭涞奈募锌赡軙?huì)沖突。
??接下來(lái)是搭建集群的詳細(xì)配置步驟 ~~
??搭建集群之前的一些設(shè)置之前有配置過(guò)，就不在詳細(xì)講了，全局集群的搭建主要與單機(jī)集群的搭建配置文件有些不同，其他都差不多一樣，詳細(xì)步驟 -----點(diǎn)擊查看

偽分布式

以上的設(shè)置都配置成功以后接下來(lái)修改配置文件
在修改配置文件之前給大家推薦一個(gè)工具 Notepad ++，這個(gè)工具在登錄以后直接可以點(diǎn)擊文件，修改配置文件，方便很多。 需要的進(jìn)去官網(wǎng)下載 ，點(diǎn)擊進(jìn)入Notepad++這里有詳細(xì)的操作步驟及安裝包。接下來(lái)開(kāi)始設(shè)置配置文件了 …

配置文件 hadoop-env.sh

export JAVA_HOME=/root/Downloads/jdk1.7.0_79 export HADOOP_HOME=/root/Downloads/hadoop-2.6.5

配置文件 core-site.xml

/hadoop.tmpdir ： 產(chǎn)生namenode中fsimage 和edits文件合并元數(shù)據(jù)

<configuration> <property> <name>fs.defaultFS</name><value>hdfs://hadoop:9000</value></property><property><name>hadoop.tmp.dir</name><value>/hadoop/tmpdir</value></property></configuration>

配置文件 hdfs-site.xml

<configuration> <property><name>dfs.namenode.name.dir</name><!-- 放置的是namenode 中的fsimage--><value>/hadoop/tmpdir/name</value> </property> <property><name>dfs.namenode.http-address</name><!-- namenode的訪問(wèn)地址--><value>hadoop:50070</value> </property> <property><name>dfs.namenode.edits.dir</name><value>/hadoop/tmpdir/nameedits</value><!-- namenode的edits日志文件地址--></property> <property><name>dfs.namenode.checkpoint.dir</name><!-- snn的fsimage地址--><value>/hadoop/tmpdir/secondary</value> </property> <property><name>dfs.namenode.checkpoint.edits.dir</name><!-- snn的edits日志文件的地址--><value>/hadoop/tmpdir/secondaryedits</value> </property> </configuration>

配置文件 yarn-site.xml
shuffle是一個(gè)程序分發(fā)的理解意思
ResourceManager：----->ApplicationManager（服務(wù)） appmaster (RM-container)—>RM
Scheduler: 專注于：AM–>RM(注冊(cè)分配資源)
如果配置完進(jìn)不去8088把這行代碼刪掉

<property> <name>yarn.resourcemanager.webapp.address</name> <!--web服務(wù)器的端口 --> <value>hadoo p:8088</value> </property>

<configuration> <property><name>yarn.resourcemanager.hostname</name><value>hadoop</value> </property> <!-- rm的啟動(dòng)地址 --> <property> <name>yarn.nodemanager.aux-services</name><!-- 是否需要shuffle 可以切換本地模式和集群模式 --><value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.address</name><!--resourcemanager分配的端口地址 --><value>hadoop:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name><!-- PRC的地址，并且用于分配資源的端口 --><value>hadoop:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name><!-- 對(duì)nodemanager暴露的地址 （資源追蹤器） 心跳機(jī)制端口 --><value>hadoop:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name><!-- resourcemanager 的admin模塊的通訊地址 --><value>hadoop:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <!--web服務(wù)器的端口 --> <value>hadoo p:8088</value> </property><property> <name>yarn.log-aggregation-enable</name><value>true</value><!--開(kāi)啟日志聚合 --> </property><property> <name>yarn.nodemanager.remote-app-log-dir</name><value>/hadoop/logs</value><!--日志聚合到一個(gè)文件夾中 --> </property> </configuration>

配置文件 mapred-site.xml
在配置這個(gè)文件的時(shí)候得注意一點(diǎn) 就是剛開(kāi)始的時(shí)候 mapred-site.xml 這個(gè)文件時(shí)空的，則需要把 mapred-site.xml.template 修改成 mapred-site.xml
如果沒(méi)有修改這個(gè)在之后的訪問(wèn)YARN web瀏覽器的時(shí)候是沒(méi)有application的
linux命令為 :
mv mapred-site.xml.template mapred-site.xml

<configuration> <property><name>mapreduce.framework.name</name><value>yarn</value><final>true</final> </property><property><name>mapreduce.jobhistory.address</name><!-- 啟動(dòng)歷史服務(wù)器--><value>hadoop:10020</value> </property><property><name>mapreduce.jobhistory.webapp.address</name><!-- 歷史服務(wù)器web訪問(wèn)地址--><value>hadoop:19888</value> </property> </configuration>

配置文件 slaves （從節(jié)點(diǎn)指定）
主機(jī)名
從節(jié)點(diǎn)配置三臺(tái)

分發(fā) /etc/hadoop路徑下 配置文件到其他兩臺(tái)機(jī)器

• 刪除其他兩臺(tái)機(jī)器jar包 ?命令 rm -rf hadoop-2.6.5
• 重新解壓 在tar -zxvf hadoop壓縮包
• etc 下目錄下 scp -r hadoop/ root@其他機(jī)器主機(jī)名:/root/Downloads/hadoop-2.6.5/etc/hadoop/
• 注意之間的空格

把集群進(jìn)行格式化 format 生成fismage鏡像和edits ?命令 hdfs namenode -format

免密設(shè)置：ssh-keygen -t rsa ----->.ssh(報(bào)錯(cuò)刪除)

• 配置 主機(jī)1—>主機(jī)2 ssh-copy-id 主機(jī) 1—2 1—3 2—1 2—3 3—1 3—2
• ssh-copy-id 自己的主機(jī)名 本機(jī)的主機(jī)免密也需要配置

啟動(dòng)集群
機(jī)器：start-all.sh 啟動(dòng)所有機(jī)器
???stop-all.sh 關(guān)閉集群

Hadoop啟動(dòng)方式
1.無(wú)腦啟動(dòng) --不常用
Start-all.sh/Stop-all.sh
2.安裝大模塊啟動(dòng) —常用
Start-dfs.sh
Start-yarn.sh

web上查看進(jìn)程
在訪問(wèn)集群之前 先找到window C盤\ windows\system32\etc hosts 修改主機(jī)名,如果修改沒(méi)成功，進(jìn)入查看解決問(wèn)題 修改c盤文件
主機(jī)名:50070訪問(wèn)hdfs

主機(jī)名:8088 訪問(wèn)yarn

wordcount 程序 wordcount詳解

cd /
vim wordcount.txt
ls
hdfs dfs -mkdir /ww
hdfs dfs -put wordcount.txt /ww
運(yùn)行程序 cd ~ ls 找到j(luò)ar包 $HADOOP_HOME cd share cd hadoop
ls cd mapreduce
ls
hadoop jar hadoop-mapreduce-examples-2.6.5.jar wordcount /qq/wordcount.txt /wordcount
運(yùn)行成功之后 訪問(wèn)hdfs 查看是否有文件

搭建中遇到的問(wèn)題
注意事項(xiàng) ：
今天在搭建全局集群的過(guò)程中很多的問(wèn)題，之后找到了相應(yīng)的解決方法，把這些方法分享給大家 ，以防遇到類似的問(wèn)題!!!
1.在配置免密之前一直沒(méi)有成功，明明配了免密還要一直提示輸入密碼，這個(gè)問(wèn)題是因?yàn)槲以谥芭渲梦募鳈C(jī)名映射的問(wèn)題
??1.首先cd ~ 到家目錄 ls -la查看是否有.ssh配置文件
??2.如果有rm -rf .ssh 刪除配置文件重新生成
??3.ssh-keygen -t rsa 生成密鑰 然后一直回車
??4.ssh-copy-id 主機(jī)名
例如：ssh-copy-id hadoop ssh-copy-id hadoop1 (注意的是需要連接n臺(tái)就得配置n臺(tái)，配置包括本機(jī))
2.啟動(dòng)之后一直不顯示進(jìn)程或進(jìn)程缺少
??1.首先查看配置文件是否正確或者cd $HADOOP_HOME 下的logs 日志 可以查看日志的末尾報(bào)錯(cuò)所在的位置 tail -200f 日志文件
??2.在配置文件沒(méi)有書(shū)寫(xiě)問(wèn)題時(shí)，cd / 到根目錄 刪除之前生成的文件 我的是hadoop 切記 其他虛擬機(jī)文件也得刪除
??3.刪除之后重新 格式化 hdfs namenode -format
??4.成功以后啟動(dòng)集群 start-all.ssh

總結(jié)

以上是生活随笔為你收集整理的全分布式集群搭建总结的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。