搭建hadoop集群从裸机开始
生活随笔
收集整理的這篇文章主要介紹了
搭建hadoop集群从裸机开始
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.
一、前提準備
虛擬機
虛擬機使用vmwere12/15/16，有克隆和快照功能，其他版本沒使用過。
CentOS-6
連接工具
Xshell、secureCRT、WinSCP、PuTTY、MobaXterm、FinalShell
任一即可。這里使用Xshell
jdk8安裝包
hadoop安裝包
二、安裝虛擬機、xshell 和 配置CentOS
(1) 安裝VMware 和 Linux
有點多，百度網(wǎng)盤獲取文檔。
// 網(wǎng)址:鏈接：https://pan.baidu.com/s/1goqHNmBrMGTqTozyXWFakA // 提取碼：w4rd(2) 安裝Xshell
? ? ? ? 略，選擇學生版?
三、基礎機搭建
復制mac地址
// vim /etc/udev/rules.d/70-persistent-net.rules?
三改一加
// vim /etc/sysconfig/network-scripts/ifcfg-eth0 /** 改一： ONBOOT=no--->ONBOOT=yes 改二： BOOTPROTO=dhcp--->BOOTPROTO=static 改三： HWADDR=刪除原來的--->HWADDR=復制的mac地址 加一：IPADDR=設置自己的ip */ // 完成后，保存退出，使用ip addr查看ip改成功沒有 // 如失敗， 重啟網(wǎng)絡服務， service network restart，有失敗字樣，需要重啟虛擬機，先不管，下一步?
改主機名
// vim /etc/sysconfig/network // HOSTNAME=新主機名 // 主機名要重啟虛擬機才生效，先不管?
加映射
// vim /etc/hosts // 刪除原有的內容 // 加入 /** 192.168.6.120 hadoop 192.168.6.121 hadoop1 192.168.6.122 hadoop2 192.168.6.123 hadoop3 */關閉防火墻
// 關閉防火墻 // service iptables stop // 關閉防火墻自動啟動 // chkconfig iptables off重啟
// reboot物理機與虛擬機通信ping通：三個一致
-
第一個地方：虛擬機iP的前三個網(wǎng)段（192.168.6）
-
第二個地方：虛擬機得網(wǎng)絡編輯器v8子網(wǎng)ip前三位（編輯->虛擬網(wǎng)絡編輯器）192.168.6
?
-
第三個地方：虛擬機在物理機上的v8網(wǎng)卡（在設置里搜網(wǎng)絡連接,windows快捷鍵win + i）
?
ping
// 在物理機的終端ping，ping母機的ip地址。 // ping ip地址?
四、配置jdk 、hadoop的系統(tǒng)環(huán)境變量
(1) 配置jdk
使用連接工具連接，如xshell。
?
卸載自帶的jdk
// 查看原jdk // rpm -qa | grep java // 卸載方式一 // rpm -e ? // 察看是否卸載干凈 // rpm -qa | grep java // 卸載方式二 // yum -y remove ? // 察看是否卸載干凈 // rpm -qa | grep java // 卸載方式三 // rpm -e --nodeps ? // 察看是否卸載干凈 // rpm -qa | grep java進入opt目錄創(chuàng)建創(chuàng)建兩個文件
// cd /opt // mkdir softwarePackage // mkdir zipPackage // ll解壓
// tar zxvf ? -C ? // 去掉v,不去運行，會有解壓震撼場面。 // tar zxf /opt/softwarePackage/jdk-8u144-linux-x64.tar.gz -C /opt/zipPackage/配置系統(tǒng)環(huán)境變量
// 切換 cd /opt/zipPackage/jdk1.8.0_144/ // 拿路徑，并復制 // vim /etc/profile // 在末尾加入以下內容 /** #JAVA_HOME export JAVA_HOME=/opt/zipPackage/jdk1.8.0_144 export PATH=$PATH:$JAVA_HOME/bin */刷新并測試
// source /etc/profile // java -version(2) 配置hadoop
解壓
配置系統(tǒng)環(huán)境變量
// 切換 cd /opt/zipPackage/hadoop-2.7.2/ // 拿路徑，并復制 // vim /etc/profile // 在末尾加入 /** #HADOOP_HOME export HADOOP_HOME=? export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:HADOOP_HOME/sbin */刷新測試
// source /etc/profile // hadoop version到這里也完成了母機的配置，現(xiàn)在就是克隆三臺，把母機的聲卡、打印機等沒用的都去掉，再克隆三臺。
五、配置集群環(huán)境變量
條件: 從母機克隆三臺
(1).克隆機更改 ip
// [root@Hadoop 桌面]# vim /etc/udev/rules.d/70-persistent-net.rules // [root@Hadoop 桌面]# vim /etc/sysconfig/network-scripts/ifcfg-eth0(2). 檢查是否更改成功
// ip addr / ifconfig // 重啟網(wǎng)絡 service network restart(3). 更改主機名
// [root@Hadoop 桌面]# vim /etc/sysconfig/network // 需要重啟才可以生效 重啟 reboot?(4).改映射
// 可以不改，改的話去掉第一個 // [root@Hadoop 桌面]# vim /etc/hosts 192.168.6.121 hadoop1 192.168.6.122 hadoop2 192.168.6.123 hadoop3(5).關閉防火墻
// 這步也可不用 // 關閉 // service iptables stop ? // 關閉開機自動啟動 // chkconfig iptables off(6).連接xshell
克隆的三臺都重復完成了以上五步后，分別用Xshell連接.
(7).配置集群
須知:到這一步盡量打一個快照，以免出錯重復步驟。一下配置都在hadoop1里完成，然后傳給其他兩臺即可。
1.
// cd /opt/zipPackage/hadoop-2.7.2/etc/hadoop/ // vim core-site.xml /** <!--1、NameNode地址：ip/主機名+端口--> ? ? ? ?<property> ? ? ? ? ? ? ? ?<name>fs.defaultFS</name> ? ? ? ? ? ? ? ?<value>hdfs://hadoop1:9000</value> ? ? ? ?</property> <!--2、Hadoop運行數(shù)據(jù)目錄:地址--> ? ? ? ?<property> ? ? ? ? ? ? ? ?<name>hadoop.tmp.dir</name> ? ? ? ? ? ? ? ?<value>/opt/zipPackage/hadoop-2.7.2/data/tmp</value> ? ? ? ?</property> ? */ // vim hadoop-env.sh // 在末尾加上 /** #JAVA_HOME export JAVA_HOME=/opt/zipPackage/jdk1.8.0_144 */?
2.
// vim hdfs-site.xml /** ? ? ? ?<property> ? ? ? ? ? ? ? ?<name>dfs.replication</name> ? ? ? ? ? ? ? ?<value>3</value> ? ? ? ?</property> ? ? ? ?<property> ? ? ? ? ? ? ? ?<name>dfs.namenode.secondary.http-address</name> ? ? ? ? ? ? ? ?<value>hadoop2:50090</value> ? ? ? ?</property> */ // vim yarn-env.sh // 在末尾加上 /** #JAVA_HOME export JAVA_HOME=/opt/zipPackage/jdk1.8.0_144 */3.
// vim yarn-site.xml /** ? ? ? ?<property> ? ? ? ? ? ? ? ?<name>yarn.nodemanager.aux-services</name> ? ? ? ? ? ? ? ?<value>mapreduce_shuffle</value> ? ? ? ?</property> ? ? ? ?<property> ? ? ? ? ? ? ? ?<name>yarn.resourcemanager.hostname</name> ? ? ? ? ? ? ? ?<value>hadoop3</value> ? ? ? ?</property> */ // vim mapred-env.sh // 在末尾加上 /** #JAVA_HOME export JAVA_HOME=/opt/zipPackage/jdk1.8.0_144 */4.
// 改名 // cp mapred-site.xml.template mapred-site.xml // vim mapred-site.xml /** <!--1.指定mr運行自YARN上--> ? ? ? ?<property> ? ? ? ? ? ? ? ?<name>mapreduce.framework.name</name> ? ? ? ? ? ? ? ?<value>yarn</value> ? ? ? ?</property> */(8).傳輸
// 分別傳給hadoop2和hadoop3 // rsync -av /opt/zipPackage/hadoop-2.7.2/ect/hadoop/ root@hadoop2:/opt/zipPackage/hadoop-2.7.2/ect/hadoop/ // rsync -av /opt/zipPackage/hadoop-2.7.2/ect/hadoop/ root@hadoop3:/opt/zipPackage/hadoop-2.7.2/ect/hadoop/六、測試
單啟
// 首先格式化，出現(xiàn)at說明配置出錯了。格式化只需要再hadoop1上，且格式化一次以后就不用了。 // 集群啟動第一要格式化__轉到hadoop目錄下 // cd /opt/zipPackage/hadoop-2.7.2/etc/hadoop/ // hdfs namenode -format /** 在Hadoop1上使用：hadoop-daemon.sh start namenode 并使用jps查看是否有namenode 在Hadoop1/2/3上都使用：hadoop-daemon.sh start datanode 并在每臺上使用jps，有datanode就行。 */群起
// 任意目錄 // cd ~/.ssh/ // ssh-keygen -t rsa 后連續(xù)三個回車 // ll // 是否有 id_rsa // 傳1/2/3 // ssh-copy-id hadoop1/2/3 // 測試，實現(xiàn)無密碼切換 // ssh hadoop2/3 // 以上要在每臺都做一遍。(1)hdfs啟動
// cd /opt/zipPackage/hadoop-2.7.2hdfs啟動效果
(2)yarn啟動
在第三臺啟動
yarn啟動效果
感謝大家的觀看，喜歡的話就點個贊，關注一下，謝謝！
總結
以上是生活随笔為你收集整理的搭建hadoop集群从裸机开始的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： linux进程signal,Linux
- 下一篇： springboot中 @Imput与@