下載VMware虛擬機軟件

下載linux系統(tǒng)的centos發(fā)行版鏡像文件

?在VMware中進行CentOS的安裝（可進行默認(rèn)點擊，主機名命名為hadoop100）

關(guān)閉防火墻，關(guān)閉防火墻開機自啟

[root@hadoop100 ~]# systemctl stop firewalld

[root@hadoop100 ~]# systemctl disable firewalld.service

注意：在企業(yè)開發(fā)時，通常單個服務(wù)器的防火墻時關(guān)閉的。公司整體對外會設(shè)置非常安全的防火墻

創(chuàng)建自定義用戶，并修改自定義用戶的密碼

[root@hadoop100 ~]# useradd liuxiaohu

? ? ? ?[root@hadoop100 ~]# passwd liuxiaohu

配置liuxiaohu用戶具有root權(quán)限，方便后期加sudo執(zhí)行root權(quán)限的命令

[root@hadoop100 ~]# vim /etc/sudoers

修改/etc/sudoers文件，在%wheel這行下面添加一行，如下所示：

## Allow root to run any commands anywhere

root ???ALL=(ALL) ????ALL

## Allows people in group wheel to run all commands

%wheel ?ALL=(ALL) ??????ALL

liuxiaohu? ?ALL=(ALL) ????NOPASSWD:ALL

注意：liuxiaohu這一行不要直接放到root行下面，因為所有用戶都屬于wheel組，你先配置了liuxiaohu具有免密功能，但是程序執(zhí)行到%wheel行時，該功能又被覆蓋回需要密碼。所以liuxiaohu要放到%wheel這行下面。

在/opt目錄下創(chuàng)建文件夾，并修改所屬主和所屬組

（1）在/opt目錄下創(chuàng)建module、software文件夾

[root@hadoop100 ~]#?mkdir /opt/module

[root@hadoop100 ~]# mkdir /opt/software

（2）修改module、software文件夾的所有者和所屬組均為liuxiaohu用戶?

[root@hadoop100 ~]# chown liuxiaohu:liuxiaohu /opt/module

[root@hadoop100 ~]# chown liuxiaohu:liuxiaohu /opt/software

（3）查看module、software文件夾的所有者和所屬組

[root@hadoop100 ~]# cd /opt/

[root@hadoop100 opt]# ll

總用量 12

drwxr-xr-x. 2 liuxiaohuliuxiaohu?4096 5月 ?28 17:18 module

drwxr-xr-x. 2 root ???root ???4096 9月 ??7 2017 rh

drwxr-xr-x. 2 liuxiaohu? liuxiaohu?4096 5月 ?28 17:18 software

卸載虛擬機自帶的JDK（安裝我們下載的jdk）

[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

• rpm -qa：查詢所安裝的所有rpm軟件包
• grep -i：忽略大小寫
• xargs -n1：表示每次只傳遞一個參數(shù)

rpm -e –nodeps：強制卸載軟件

重啟虛擬機

[root@hadoop100 ~]# reboot

克隆虛擬機

利用模板機hadoop100，克隆三臺虛擬機：hadoop102 hadoop103 hadoop104

注意：克隆時，要先關(guān)閉hadoop100 ，不克隆hadoop101是因為留著做本地模式

修改克隆機IP，以下以hadoop102舉例說明

（1）修改克隆虛擬機的靜態(tài)IP

[root@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

改成

DEVICE=ens33

TYPE=Ethernet

ONBOOT=yes

BOOTPROTO=static

NAME="ens33"

IPADDR=192.168.10.102? ? ? 同理hadoop103?就是192.168.10.103

PREFIX=24

GATEWAY=192.168.10.2

DNS1=192.168.10.2

查看Linux虛擬機的虛擬網(wǎng)絡(luò)編輯器，編輯->虛擬網(wǎng)絡(luò)編輯器->VMnet8

查看Windows系統(tǒng)適配器VMware Network Adapter VMnet8的IP地址

保證Linux系統(tǒng)ifcfg-ens33文件中IP地址、虛擬網(wǎng)絡(luò)編輯器地址和Windows系統(tǒng)VM8網(wǎng)絡(luò)IP地址相同。?

修改克隆機主機名，以下以hadoop102舉例說明

（1）修改主機名稱

[root@hadoop100 ~]# vim /etc/hostname

hadoop102

（2）配置Linux克隆機主機名稱映射hosts文件，打開/etc/hosts

[root@hadoop100 ~]# vim /etc/hosts

添加如下內(nèi)容

192.168.10.100 hadoop100

192.168.10.102 hadoop102

4）重啟克隆機hadoop102?

[root@hadoop100 ~]# reboot

修改windows的主機映射文件（hosts文件）

（1）如果操作系統(tǒng)是window7，可以直接修改?

（a）進入C:\Windows\System32\drivers\etc路徑

（b）打開hosts文件并添加如下內(nèi)容，然后保存

192.168.10.100 hadoop100

192.168.10.102 hadoop102

192.168.10.103 hadoop103

192.168.10.104 hadoop104

（2）如果操作系統(tǒng)是window10，先拷貝出來，修改保存以后，再覆蓋即可

（a）進入C:\Windows\System32\drivers\etc路徑

（b）拷貝hosts文件到桌面

（c）打開桌面hosts文件并添加如下內(nèi)容

192.168.10.100 hadoop100

192.168.10.102 hadoop102

192.168.10.103 hadoop103

192.168.10.104 hadoop104

（d）將桌面hosts文件覆蓋C:\Windows\System32\drivers\etc路徑hosts文件

在hadoop102安裝JDK

卸載現(xiàn)有JDK

前面已經(jīng)做了卸載操作

用XShell傳輸工具將JDK導(dǎo)入到opt目錄下面的software文件夾下面

在Linux系統(tǒng)下的opt目錄中查看軟件包是否導(dǎo)入成功

[liuxiaohu@hadoop102?~]$?ls /opt/software/

看到如下結(jié)果：

jdk-8u212-linux-x64.tar.gz

解壓JDK到/opt/module目錄下

[liuxiaohu@hadoop102 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

配置JDK環(huán)境變量

（1）新建/etc/profile.d/my_env.sh文件

[liuxiaohu@hadoop102 ~]$ sudo vim /etc/profile.d/my_env.sh? ? ? ?//使用了vim編輯器

添加如下內(nèi)容

#JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_212

export PATH=$PATH:$JAVA_HOME/bin

保存后退出

:wq

（3）source一下/etc/profile文件，讓新的環(huán)境變量PATH生效

[liuxiaohu@hadoop102 ~]$ source /etc/profile

測試JDK是否安裝成功

[liuxiaohu@hadoop102 ~]$ java -version

如果能看到以下結(jié)果，則代表Java安裝成功。

java version "1.8.0_212"

注意：重啟（如果java -version可以用就不用重啟）

[liuxiaohu@hadoop102 ~]$ sudo reboot

在hadoop102安裝Hadoop

Hadoop下載地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/

1）用XShell文件傳輸工具將hadoop-3.1.3.tar.gz導(dǎo)入到opt目錄下面的software文件夾下面

進入到Hadoop安裝包路徑下

[liuxiaohu@hadoop102?~]$ cd /opt/software/

3）解壓安裝文件到/opt/module下面

[liuxiaohu@hadoop102?software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

4）查看是否解壓成功

[liuxiaohu@hadoop102?software]$ ls /opt/module/

hadoop-3.1.3

5）將Hadoop添加到環(huán)境變量

（1）獲取Hadoop安裝路徑

[liuxiaohu@hadoop102?hadoop-3.1.3]$ pwd

/opt/module/hadoop-3.1.3

（2）打開/etc/profile.d/my_env.sh文件

[liuxiaohu@hadoop102?hadoop-3.1.3]$?sudo vim?/etc/profile.d/my_env.sh??

• 在my_env.sh文件末尾添加如下內(nèi)容：（shift+g）

#HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-3.1.3

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

• 保存并退出： :wq

（3）讓修改后的文件生效

[liuxiaohu@hadoop102?hadoop-3.1.3]$ source /etc/profile

6）測試是否安裝成功

[liuxiaohu@hadoop102?hadoop-3.1.3]$ hadoop version

Hadoop 3.1.3

7）重啟（如果Hadoop命令不能用再重啟虛擬機）

[liuxiaohu@hadoop102?hadoop-3.1.3]$ sudo reboot

2.5 Hadoop目錄結(jié)構(gòu)

1）查看Hadoop目錄結(jié)構(gòu)

[liuxiaohu@hadoop102 hadoop-3.1.3]$ ll

總用量 52

2）重要目錄

（1）bin目錄：存放對Hadoop相關(guān)服務(wù)（hdfs，yarn，mapred）進行操作的腳本

（2）etc目錄：Hadoop的配置文件目錄，存放Hadoop的配置文件

（3）lib目錄：存放Hadoop的本地庫（對數(shù)據(jù)進行壓縮解壓縮功能）

（4）sbin目錄：存放啟動或停止Hadoop相關(guān)服務(wù)的腳本

（5）share目錄：存放Hadoop的依賴jar包、文檔、和官方案例

總結(jié)

以上是生活随笔為你收集整理的虚拟机环境+Hadoop环境搭建的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。