當(dāng)前位置：首頁(yè) > 编程资源 > 编程问答 >内容正文

编程问答

2.1 Hadoop环境搭建

發(fā)布時(shí)間：2023/12/20 编程问答 24 豆豆

生活随笔收集整理的這篇文章主要介紹了 2.1 Hadoop环境搭建小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

第一關(guān) 配置JavaJDK

下載JDK

? ? ? ? 下載網(wǎng)址：http://www.o\fracle.com/technetwork/java/javase/downloads/jdk8-download-2133151.html

????????educoder中已經(jīng)下載好，所以這一步忽略。????????

解壓

? ? ? ? 1.創(chuàng)建文件夾/app

mkdir /app

? ? ? ? 2.切換到/opt目錄，查看壓縮包

cd /opt

? ? ? ? 3.解壓JDK

tar -zxvf jdk-8u171-linux-x64.tar.gz

? ? ? ? 4.等待解壓完成，將JDK移動(dòng)到/app目錄下

mv jdk1.8.0_171/ /app

? ? ? ? 可以切換到/app目錄下查看解壓好的文件夾

cd /app

配置環(huán)境變量

? ? ? ? 1.輸入下面的命令，編輯配置文件

vim /etc/profile

? ? ? ? 2.在文件末尾輸入：

#先按i進(jìn)入編輯狀態(tài)，再輸入下面的代碼

JAVA_HOME=/app/jdk1.8.0_171
CLASSPATH=.:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH

export JAVA_HOME CLASSPATH PATH

? ? ? ?? 3.保存并退出

#先按Esc退出編輯狀態(tài)，再輸入下面的代碼

:wq

? ? ? ? 4.輸入下面的代碼使剛才配置的文件生效

source /etc/profile

測(cè)試

測(cè)試一下環(huán)境變量是否配置成功

java -version

出現(xiàn)如下界面代表配置成功

?第二關(guān) Hadoop安裝與偽分布式集群搭建

下載Hadoop

? ? ? ? 在官網(wǎng)下載http://hadoop.apache.org/

? ? ? ? educoder已經(jīng)下載好，切換到目錄/opt目錄查看：

cd /opt

????????解壓文件：

tar -zxvf hadoop-3.1.0.tar.gz -C /app

? ? ? ? 切換到/app目錄：

cd /app

? ? ? ? 修改hadoop文件夾的名字

mv hadoop-3.1.0/ hadoop3.1

配置Hadoop環(huán)境

? ? ? ? 1.設(shè)置SSH免密登錄

? ? ? ? 首先輸入下面的代碼：

ssh-keygen -t rsa -P ''

? ? ? ? ?！！！接下來(lái)直接輸入回車（生成密鑰對(duì)：id_rsa和id_rsa.pub，默認(rèn)存儲(chǔ)在/home/hadoop/.ssh目錄下）

?????????把id_rsa.pub追加到授權(quán)的key里面去：

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

? ? ? ? 然后修改權(quán)限：

chmod 600 ~/.ssh/authorized_keys

? ? ? ? 啟用RSA認(rèn)證（如果提示權(quán)限不足在下面的語(yǔ)句前加上sudo）：

vim /etc/ssh/sshd_config

? ? ? ? 修改SSH配置：

RSAAuthentication yes # 啟用 RSA 認(rèn)證

PubkeyAuthentication yes # 啟用公鑰私鑰配對(duì)認(rèn)證方式

AuthorizedKeysFile %h/.ssh/authorized_keys # 公鑰文件路徑

? ? ? ? ！！！先按esc，再輸入：

：wq

? ? ? ? 退出并保存。

????????重啟SSH(在自己的虛擬機(jī)中可以重啟，在educoder中不用重啟，重啟就斷開連接了)

service ssh restart

? ? ? ? 2.Hadoop配置文件

? ? ? ? 首先切換到Hadoop目錄下：

cd /app/hadoop3.1/etc/hadoop

????????hadoop-env.sh配置：

? ? ? ? 首先進(jìn)入文件：

vim hadoop-env.sh

? ? ? ? 按i，光標(biāo)滑到最底下，插入代碼：

export JAVA_HOME=/app/jdk1.8.0_171

? ? ? ? 按esc，輸入:wq

????????yarn-env.sh文件配置

????????首先進(jìn)入文件：

vim yarn-env.sh

? ? ? ? 按i，光標(biāo)滑到最底下，插入代碼：

export JAVA_HOME=/app/jdk1.8.0_171

? ? ? ? 按esc，輸入:wq

????????core-site.xml文件配置：

?????????首先進(jìn)入文件：

vim core-site.xml

? ? ? ? 按i，找到兩個(gè)<configuration>，在里面插入代碼：

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

<description>HDFS的URI，文件系統(tǒng)://namenode標(biāo)識(shí):端口號(hào)</description>

</property>

<name>hadoop.tmp.dir</name>

<value>/usr/hadoop/tmp</value>

<description>namenode上本地的hadoop臨時(shí)文件夾</description>

</property>

? ? ? ? 按esc，輸入:wq

????????hdfs-site.xml文件配置

?????????首先進(jìn)入文件：

vim hdfs-site.xml

? ? ? ? 按i，找到兩個(gè)<configuration>，在里面插入代碼：

<value>/usr/hadoop/hdfs/name</value>

<description>namenode上存儲(chǔ)hdfs名字空間元數(shù)據(jù) </description>

</property>

<value>/usr/hadoop/hdfs/data</value>

<description>datanode上數(shù)據(jù)塊的物理存儲(chǔ)位置</description>

</property>

<name>dfs.replication</name>

</property>

? ? ? ? 按esc，輸入:wq

????????mapred-site.xml文件配置

?????????首先進(jìn)入文件：

vim mapred-site.xml

? ? ? ? 按i，找到兩個(gè)<configuration>，在里面插入代碼：

<name>mapreduce.framework.name</name>

</property>

? ? ? ? 按esc，輸入:wq

????????yarn-site.xml文件配置

????????首先進(jìn)入文件：

vim yarn-site.xml

? ? ? ? 按i，找到兩個(gè)<configuration>，在里面插入代碼：

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<name>yarn.resourcemanager.webapp.address</name>

<description>這個(gè)地址是mr管理界面的</description>

</property>

? ? ? ? 按esc，輸入:wq

3.創(chuàng)建文件夾

????????在/usr/hadoop/目錄下建立tmp、hdfs/name、hdfs/data目錄：

mkdir /usr/hadoop

mkdir /usr/hadoop/tmp

mkdir /usr/hadoop/hdfs

mkdir /usr/hadoop/hdfs/data

mkdir /usr/hadoop/hdfs/name

4.將Hadoop添加到環(huán)境變量中：

vim /etc/profile

? ? ? ? ?在文件末尾插入下面的代碼：

#set Hadoop Environment
export HADOOP_HOME=/app/hadoop3.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

????????最后使修改生效：

source /etc/profile

驗(yàn)證

????????1.格式化

hadoop namenode -format

????????出現(xiàn)如下界面代表成功：

? ????????2. 啟動(dòng)Hadoop

? ? ? ? 用戶現(xiàn)在還不能啟動(dòng)Hadoop，需要設(shè)置一些東西

? ? ? ? 切換到/hadoop3.1/sbin路徑下：

cd /app/hadoop3.1/sbin

? ? ? ?編輯start-dfs.sh文件：

vim?start-dfs.sh

? ? ? ? 按i，在文件頂部添加以下參數(shù)：

HDFS_DATANODE_USER=root

HADOOP_SECURE_DN_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root?

? ? ? ? 按Esc，輸入:wq，保存并退出。

????????編輯stop-dfs.sh文件：

vim?stop-dfs.sh

????????按i，在文件頂部添加以下參數(shù)：

HDFS_DATANODE_USER=root

HADOOP_SECURE_DN_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

????????按Esc，輸入:wq，保存并退出。

????????編輯start-yarn.sh文件：

vim?start-yarn.sh

? ? ? ? 按i，在文件頂部添加以下參數(shù)：

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

? ? ? ? 按Esc，輸入:wq，保存并退出。

????????編輯stop-yarn.sh文件：

vim?stop-yarn.sh

????????按i，???????在文件頂部添加以下參數(shù)：

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

????????按Esc，輸入:wq，保存并退出。

? ? ? ? 啟動(dòng)start-dfs.sh:

start-dfs.sh

? ? ? ? 輸入jps：

jps

出現(xiàn)以下界面表示啟動(dòng)成功：

第三關(guān) HDFS系統(tǒng)初體驗(yàn)

?編程要求

????????在HDFS系統(tǒng)的根目錄下創(chuàng)建task文件夾，在本地創(chuàng)建一個(gè)名為task.txt的文件，輸入：hello educoder至該文件中，最后將該文件上傳至HDFS系統(tǒng)的/task目錄。

tips：在本地操作正常輸入命令即可，在HDFS系統(tǒng)中操作就在命令前加上hadoop fs -

?開始編程

1.啟動(dòng)Hadoop：

start-dfs.sh

2.在Hadoop系統(tǒng)中創(chuàng)建/task文件夾：

hadoop fs -mkdir /task

3.查看Hadoop系統(tǒng)中文件：

hadoop fs -ls /

4.在本地創(chuàng)建task.txt文件：

touch task.txt

5.編輯task.txt文件：

vim task.txt

6.按i開始編輯，輸入下面的句子：

hello educoder

按Esc，輸入:wq保存并退出文件?

7.將task.txt上傳至HDFS的/task文件夾。

hadoop fs -put task.txt /task

8.查看HDFS /task文件夾中的task.txt文件

hadoop fs -cat /task/task.txt

顯示hello educoder 表示成功。

總結(jié)

以上是生活随笔為你收集整理的2.1 Hadoop环境搭建的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。