hadoop-2.7.2 分布式集群搭建
?
1.機器信息
?五臺centos 64位機器
2.集群規劃
| Server Name | Hadoop Cluster | Zookeeper ? Ensemble | HBase Cluster |
| Hadoop01 | Name node ? &?Resource manager | ? | Master |
| Hadoop02 | Secondary name ? node | ? | ? |
| Hadoop03 | Data node ? &?Node manager | √ | Region server |
| Hadoop04 | Data node ? &?Node manager | ?√ | Region server |
| Hadoop05 | Data node ? &?Node manager | ?√ | Region server |
?
?
?
? 3. hadoop 集群
3.1core-site.xml
<configuration>
<property>
? <name>hadoop.tmp.dir</name>
? <value>/usr/app/hadoop-2.7.2</value>
? <description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
<property>
? <name>io.file.buffer.size</name>
? <value>131072</value>
</property>
</configuration>
?
3.2hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/root/hadoopdata/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/root/hadoopdata/datanode</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop02:9001</value>
</property>
<property>
? <name>io.file.buffer.size</name>
? <value>131072</value>
</property>
<property>
? <name>dfs.namenode.handler.count</name>
? <value>100</value>
</property>
?
</configuration>
3.3mapred-site.xml
<configuration>
?
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
? <name>mapreduce.jobhistory.address</name>
? <value>hadoop01:10020</value>
?</property>
<property>
? <name>mapreduce.jobhistory.address</name>
? <value>hadoop01:10020</value>
?</property>
?
</configuration>
3.4yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hadoop01:8035</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop01:8030</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>hadoop01:8032</value>
</property>
<property>
? <name>yarn.acl.enable</name>
? <value>false</value>
</property>
<property>
? <name>yarn.admin.acl</name>
? <value>*</value>
</property>
<property>
? <name>yarn.log-aggregation-enable</name>
? <value>false</value>
</property>
?<property>
?? <name>yarn.resourcemanager.webapp.address</name>
?? <value>hadoop01:8088</value>
? </property>
?<property>
?? <name>yarn.resourcemanager.hostname</name>
?? <value>hadoop01</value>
? </property>
<property>
?? <name>yarn.nodemanager.aux-services</name>
?? <value>mapreduce_shuffle</value>
</property>
3.5slaves
hadoop03
hadoop04
hadoop05
3.6hadoop-env.sh
修改java_home 改成絕對路徑
export JAVA_HOME=/usr/app/jdk1.7.0_51
4修改host文件
命令 vim /etc/hosts
192.168.12.60 hadoop01
192.168.12.61 hadoop02
192.168.12.62 hadoop03
192.168.12.63 hadoop04
192.168.12.64 hadoop05
5.修改環境變量
?vim /etc/profile
編輯如下：
HADOOP_PREFIX=/usr/app/hadoop-2.7.2
HADOOP_MAPRED_PREFIX=$HADOOP_PREFIX
HADOOP_HDFS_PREFIX=$HADOOP_PREFIX
HADOOP_YARN_PREFIX=$HADOOP_PREFIX
PATH=$PATH:$HADOOP_PREFIX/bin
PATH=$PATH:$HADOOP_PREFIX/sbin
6配置ssh 免密碼登錄
? 命令 cd ~/.ssh
? 發現 沒有問價 那么就自己創建一個.ssh 文件
? 利用ls –al 來查看文件
? 再執行 命令 cd ~/.ssh
? 執行 ssh-keygen -t rsa （四個回車）
? 命令ssh-copy-id localhost 和其他機器
7 集群配置
?將配置好的hadoop-2.7.2文件發送到各個機器上 并修改各個機器的配置文件
8啟動集群
命令 start-dfs.sh? 顯示除了本機之外的權限不夠 Permission denied
登錄其他機器 修改調用文件的權限 例如 chmod 777 文件名
?
8總結
?遇到的問題 我在配置的時候 ssh 時候一直配置不成功 當時使用的命令是scp ~/.ssh/id_rsa.pub root@192.168.0.2:/root/.ssh
后來使用ssh-copy-id 主機名 youxiao
還有一個問題就是啟動hdfs 時候 目標節點顯示權限不夠? (很困擾)困在這里很長時間。
修改權限之后就可以運行了。
轉載于:https://www.cnblogs.com/qerror404/p/5438294.html
總結
以上是生活随笔為你收集整理的hadoop-2.7.2 分布式集群搭建的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： java formatter()_Jav
- 下一篇： 【BFS】哈理工OJ-2074-逃生