當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

大数据学习——Hadoop本地模式搭建

發布時間：2023/12/20 编程问答 30 豆豆

生活随笔收集整理的這篇文章主要介紹了大数据学习——Hadoop本地模式搭建小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

Hadoop官網單機版教程

一.Centos7的安裝

1.安裝Centos7

前提需要安裝好VMware16.2x

下載地址：
[https://download3.vmware.com/software/WKST-1624-WIN/VMware-workstation-full-16.2.4-20089737.exe](https://download3.vmware.com/software/WKST-1624-WIN/VMware-workstation-full-16.2.4-20089737.ex

2.網絡配置

打開VMware16，點擊左上角編輯——>點擊虛擬網絡編輯——>點擊VMnet8 配置NET模式——在最下方配置子網IP和子網掩碼——>點擊NET模式 NET設置——>配置網關IP——>應用，確定

以win10為例：

打開適配器選項——>鼠標點擊VMware Network Adapter VMnet8——>屬性——>雙擊Internet協議版本(TCP/IPv4)——>手動修改IP地址(如圖所示)

3.安裝Centos

1)下載centos7鏡像

阿里云鏡像下載地址：
https://mirrors.aliyun.com/centos/7/isos/x86_64/CentOS-7-x86_64-Minimal-2207-02.iso?spm=a2c6h.25603864.0.0.74092d1cqIt3cz

下載后創建一個獨立的目錄,在目錄下創建5個文件夾，分別是centos(固定存放centos7鏡像，方便尋找)、hadoop100(模板機)、hadoop101、hadoop102、hadoop103(在之后搭建Hadoop集群需要)。

2)安裝鏡像

創建新的虛擬機——>自定義——>硬件兼容性選擇最上面的——>選擇稍后安裝操作系統——>客戶機操作系統選擇Linux，版本選擇CentOS 7 64 位——>虛擬機名稱hadoop100，位置選擇我們創建好的hadoop100文件夾下——>處理器配置(以8核心16線程為例)處理器數量4，每個核心數2，內核總數8(不能超過自己電腦的核心總數)——>內存設置為4g(三臺機器總內存不要超過機帶內存3/4)，——>網絡連接類型選取NAT模式——>下兩步按照推薦來——>選擇磁盤選取創建新虛擬磁盤——>最大磁盤大小分配50g,選擇將虛擬磁盤拆分成多個文件——>指定磁盤文件保存到之前創建的hadoop100中——自定義硬件——>新CD/DVD選擇鏡像，使用ISO映像文件，瀏覽選擇之前創建的centos目錄下的centos7鏡像——>關閉，點擊完成，鏡像已經安裝OK

3)centos7裝配

開啟此虛擬機——>鼠標點進黑色窗口，不要做其他選擇，直接回車，等待——>進入語言選擇，鼠標選擇中文——>進入安裝配置頁面，按順序先設置時間，城市選擇上海，時間調整與本機同步——>鍵盤、語言支持、安裝源和軟件選擇都不用動(默認最小安裝,節約磁盤和內存)——點擊右下角+號，先添加/boot，分配1G，然后設置設備類型為標準分區，文件系統為ext4，繼續添加swap分區，分配4G，設置設備類型為標準分區，文件系統為swap，繼續添加/分區，分配45G，設置設備類型為標準分區，文件系統為ext4,點擊完成，然后接受更改——>KDUMP默認是啟用，我們將它關閉——>進行網絡配置，首先打開右上角以太網，左下角將主機名改成hadoop100，完成——>點擊開始安裝，在等待安裝過程中配置一下root密碼，自己記住就行，不用創建用戶(后期創建hadoop用戶市創建)——>重啟，安裝結束

二.Hadoop模板機配置

1.基礎配置

1)重啟后進入登錄頁面，安裝是為最小安裝，沒有圖形化界面——>使用root用戶登錄——>登陸成功

2)網絡配置

方式1:

[root@hadoop100 ~]# nmtui

(使用上下左右進行選擇)回車 Edit a connection，繼續回車，選擇IPv4 的Automatic回車，選擇Manual,選擇右側的Show回車，選擇Addresses 后的Add,填寫IP地址，網段要與本機網絡適配器配置的網絡在同一個網段，然后修改Gateway和DNS servers都為192.168.10.2(與細膩網絡配置的網關相同),右下角ok保存,back退出
選擇Active a connection 激活網絡，選擇Deactivate回車，變成Activate后再回車，back退出，重啟機器

[root@hadoop100 ~]# reboot

使用命令查看網絡狀態,可以看到本機ip為192.168.10.100/24

[root@hadoop100 ~]# ip addr show 檢測是否可以鏈接外網,可以看到可以與百度ping通 ping www.baidu.com

方式二:

打開網絡配置文件，手動添加配置，將BOOTPROTO修改成static,在最后添加

IPADDR=192.168.10.100 PREFIX=24 GATEWAY=192.168.10.2 DNS1=192.168.10.2

wq保存退出,reboot重啟機器

2.網絡配置好后，虛擬機內部操作不方便，我們使用遠程工具鏈接虛擬機操作
先下載xshell工具https://www.xshellcn.com/xiazai.html下載Xmanger Power，隨便填寫下載后百度破解

先修改window和centos中的hosts文件
使用記事本打開windows中C:\Windows\System32\drivers\etc\hosts，添加如下內容

192.168.10.100 hadoop100 192.168.10.101 hadoop101 192.168.10.106 hadoop102 192.168.10.103 hadoop103

使用命令打開centos中的hosts文件，在文件最下面添加

[root@hadoop100 ~]# vi /etc/hosts

192.168.10.100 hadoop100 192.168.10.101 hadoop101 192.168.10.106 hadoop102 192.168.10.103 hadoop103

重啟機器

重啟后，回到windows中打開Xshell工具，左上角新建會話，因為上邊配置了hosts，所以windows和hadoop機器產生了映射關系，直接在主機輸入hadoop100就可以了知道hadoop100的ip，點擊用戶身份驗證輸入root用戶名密碼，連接，跳出驗證主機秘鑰，選擇接受并保存，登陸成功

3.模板虛擬機依賴工具下載

1)先下載wget,方便修改yum源

[root@hadoop100 ~]# yum install -y wget

2)修改網絡YUM源

備份原來的yum文件

mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo_bak

下載阿里云的 CentOS-Base.repo 到/etc/yum.repos.d/

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

或

curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

清空原本yum緩存

yum clean all

生成新的阿里云的yum緩存，加速下載預熱數據

yum makecache

3)安裝epel-release
Extra Packages for Enterprise Linux是為“紅帽系”的操作系統提供額外的軟件包，相當于是一個軟件倉庫，大多數rpm包在官方 repository 中是找不到的

[root@hadoop100 ~]# yum install -y epel-release

4)安裝后期學習使用的工具包，如vim,ntp,nc…

[root@hadoop100 ~]# yum install -y net-tools vim psmisc nc rsync lrzsz ntp libzstd openssl-static tree iotop git nano

4.關閉防火墻，關閉防火墻開機自啟

[root@hadoop100 ~]# systemctl stop firewalld [root@hadoop100 ~]# systemctl disable firewalld.service

5.創建hadoop用戶，并修改hadoop用戶的密碼

[root@hadoop100 ~]# useradd hadoop [root@hadoop100 ~]# passwd hadoop

6.配置atguigu用戶具有root權限，方便后期加sudo執行root權限的命令

[root@hadoop100 ~]# vim /etc/sudoers

在root ALL=(ALL) ALL下添加

hadoop ALL=(ALL) NOPASSWD:ALL

此文件為只讀文件，所以退出時用wq!強制執行保存退出

7.創建軟件安裝目錄

在/opt目錄下創建文件夾，并修改所屬主和所屬組

1）在/opt目錄下創建module、software文件夾

[root@hadoop100 ~]# mkdir /opt/module [root@hadoop100 ~]# mkdir /opt/software

2）修改module、software文件夾的所有者和所屬組均為hadoop用戶，查看module、software文件夾的所有者和所屬組

[root@hadoop100 ~]# chown hadoop:hadoop /opt/module/ [root@hadoop100 ~]# chown hadoop:hadoop /opt/software/ [root@hadoop100 ~]# ll /opt/

注：如果安裝的是桌面版的，需要先卸載虛擬機自帶的java

[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

環境配置好之后，關機。

三.Hadoop單機版搭建

1.根據模板機hadoop100克隆虛擬機hadoop101——>創建完整克隆——>修改克隆機名稱為hadoop101，保存位置為之前創建的hadoop101目錄下

2.克隆后開啟hadoop101,修改克隆機配置，和之前的hadoop100同理
要設置主機名(hadoop100在創建時就直接改了)，Set system hostname 回車，ok保存，修改IP并激活，重啟機器，使用命令查看機器網絡配置

[root@hadoop100 ~]# ifconfig

可以看到主機名和ip已經更新

3.在hadoop101安裝JDK
1）用Xftp傳輸工具將JDK導入到opt目錄下面的software文件夾下面
Xftp鏈接虛擬機連接虛擬機和Xshell相同

下載JDK和Hadoop的tar包
JDK1.8下載地址：https://www.oracle.com/java/technologies/downloads/#license-lightbox
Hadoop3下載地址：https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.4/hadoop-3.2.4-src.tar.gz

直接拖動tar包到/opt/software下
Xshell中使用hadoop賬戶登錄hadoop101，查看目錄下是否有文件

[hadoop@hadoop101 software]$ ll

2）安裝JDK
先解壓JDK tar包到/opt/module下

[hadoop@hadoop101 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

3)配置JDK環境變量
1）新建/etc/profile.d/my_env.sh文件

[hadoop@hadoop101 ~]$ sudo touch /etc/profile.d/my_env.sh

在新建的my_env.sh中配置java環境變量

[hadoop@hadoop101 ~]$ sudo vim /etc/profile.d/my_env.sh

添加如下內容

#JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_212 export PATH=$PATH:$JAVA_HOME/bin

2)source一下/etc/profile文件，讓新的環境變量PATH生效

[hadoop@hadoop101 ~]$ source /etc/profile

3)測試JDK是否安裝成功

[hadoop@hadoop101 ~]$ java -version

4.在hadoop101安裝Hadoop
將Hadoop和JDK將tar包放到/opt/software下
1）安裝Hadoop
先解壓JDK tar包到/opt/module下

[hadoop@hadoop101 ~]$ tar -zxvf /opt/software/hadoop-3.1.3.tar.gz -C /opt/module/

2)配置Hadoop環境變量
1)打開/etc/profile.d/my_env.sh文件

[hadoop@hadoop101 ~]$ sudo vim /etc/profile.d/my_env.sh

在my_env.sh文件末尾添加如下內容：

#HADOOP_HOME export HADOOP_HOME=/opt/module/hadoop-3.1.3 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin

2)source一下/etc/profile文件，讓新的環境變量PATH生效

[hadoop@hadoop101 ~]$ source /etc/profile

3)測試是否安裝成功

[hadoop@hadoop101 ~]$ hadoop version

四.測試Hadoop本地運行模式

1.創建在hadoop-3.1.3文件下面創建一個wcinput文件夾

[hadoop@hadoop101 ~]$ cd /opt/module/hadoop-3.1.3/ [hadoop@hadoop101 hadoop-3.1.3]$ mkdir wcinput [hadoop@hadoop101 hadoop-3.1.3]$ ll

2.在wcinput文件下創建一個word.txt文件

[hadoop@hadoop101 hadoop-3.1.3]$ touch wcinput/word.txt [hadoop@hadoop101 hadoop-3.1.3]$ vim wcinput/word.txt

在文件中輸入如下內容

稻香 - 周杰倫 (Jay Chou) 詞：周杰倫曲：周杰倫編曲：黃雨勛對這個世界如果你有太多的抱怨跌倒了就不敢繼續往前走為什么人要這么的脆弱墮落請你打開電視看看多少人為生命在努力勇敢的走下去我們是不是該知足珍惜一切就算沒有擁有還記得你說家是唯一的城堡隨著稻香河流繼續奔跑微微笑小時候的夢我知道不要哭讓螢火蟲帶著你逃跑鄉間的歌謠永遠的依靠回家吧回到最初的美好不要這么容易就想放棄就像我說的追不到的夢想換個夢不就得了為自己的人生鮮艷上色先把愛涂上喜歡的顏色笑一個吧功成名就不是目的讓自己快樂快樂這才叫做意義童年的紙飛機現在終于飛回我手里所謂的那快樂赤腳在田里追蜻蜓追到累了偷摘水果被蜜蜂給叮到怕了誰在偷笑呢我靠著稻草人吹著風唱著歌睡著了午后吉他在蟲鳴中更清脆陽光灑在路上就不怕心碎珍惜一切就算沒有擁有還記得你說家是唯一的城堡隨著稻香河流繼續奔跑微微笑小時候的夢我知道不要哭讓螢火蟲帶著你逃跑鄉間的歌謠永遠的依靠回家吧回到最初的美好還記得你說家是唯一的城堡隨著稻香河流繼續奔跑微微笑小時候的夢我知道不要哭讓螢火蟲帶著你逃跑鄉間的歌謠永遠的依靠回家吧回到最初的美好

3.執行程序

[hadoop@hadoop101 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput

4.查看結果

[hadoop@hadoop101 hadoop-3.1.3]$ cat wcoutput/part-r-00000

下轉Hadoop集群搭建

總結

以上是生活随笔為你收集整理的大数据学习——Hadoop本地模式搭建的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇：【Python+C#】手把手搭建基于Hu
下一篇： BufferedInputStream的