1.環境準備

系統版本：CentOS7.5

主機名：node01

hadoop3.1?的下載地址： http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz? jdk8 rpm包下載地址：https://download.oracle.com/otn-pub/java/jdk/8u191-b12/2787e4a523244c269598db4e85c51e0c/jdk-8u191-linux-x64.rpm

2.配置jdk的環境變量

2.1編輯/etc/profile?

export JAVA_HOME=/usr/java/jdk1.8.0_191-amd64 export JRE_HOME=$JAVA_HOME/jre export PAHT=$PATH:JAVA_HOME/bin:$JRE_HOME/bin export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib

2.2使得配置生效

source /etc/profile

3.安裝部署hadoop

3.1解壓hadoop到/opt?目錄下

cd /software
tar xf hadoop-3.1.1.tar.gz -C /opt/

3.2切換到hadoop配置文件目錄

cd /opt/hadoop-3.1.1/etc/hadoop/

3.3修改hadoop的環境配置文件hadoop-env.sh

# 配置文件末尾添加下面變量 export JAVA_HOME=/usr/java/jdk1.8.0_191-amd64 export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root export HDFS_SECONDARYNAMENODE_USER=root

3.4修改core-site.xml配置文件

<configuration><property><name>fs.defaultFS</name><value>hdfs://node01:9000</value></property>#用于namenode 以及元數據存放在tmp目錄下，更改存放到/var/hadoop/peseudo<property><name>hadoop.tmp.dir</name><value>/var/hadoop/peseudo</value></property> </configuration>

3.5修改hdfs-site.xml配置

<configuration><property><name>dfs.replication</name> #代表副本<value>1</value></property><property><name>dfs.namenode.secondary.http-address</name> #代表副本<value>node01:9868</value></property> </configuration>

?

3.6修改workers配置

在2.x版本中workers對應的是slave文件，寫上對應的從節點的hostname，由于是偽分布式部署，從節點只有一個node01 vi workers node01 #localhost改成你的主機名

3.7執行格式化namenode

# cd /opt/hadoop-3.1.1 # ./bin/hdfs namenode -format 2018-12-12 22:14:40,004 INFO common.Storage: Storage directory /var/hadoop/peseudo/dfs/name has been successfully formatted. 2018-12-12 22:14:40,025 INFO namenode.FSImageFormatProtobuf: Saving image file /var/hadoop/peseudo/dfs/name/current/fsimage.ckpt_0000000000000000000 using no compression 2018-12-12 22:14:40,162 INFO namenode.FSImageFormatProtobuf: Image file /var/hadoop/peseudo/dfs/name/current/fsimage.ckpt_0000000000000000000 of size 389 bytes saved in 0 seconds . 2018-12-12 22:14:40,177 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0 2018-12-12 22:14:40,186 INFO namenode.NameNode: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at node01/10.10.0.11 ************************************************************/ #看到上面的輸出successfully?formatted?表示格式化成功。

3.8查看生成的數據信息

一個集群中的clusterID是一樣的。

3.9啟動集群

./sbin/start-dfs.sh 通過jsp命令查看在一個節點上的所有集群中的角色都啟動起來了。 #查看9870端口 瀏覽器輸入： 點擊livenode 訪問文件系統 現在根目錄為空

4.hdfs客戶端使用

使用客戶端創建目錄 ./bin/hdfs dfs -mkdir /temp 網頁上驗證是否創建成功 使用hdfs客戶端上傳文件 ./bin/hdfs dfs -put /software/hadoop-3.1.1.tar.gz /temp 將本地的hadoop安裝包上傳到hdfs中 有一個副本，文件總大小319.06MB,塊大小128MB 發現該文件被切成了3個block塊 后臺查看物理位置

轉載于:https://www.cnblogs.com/benjamin77/p/10108646.html

總結

以上是生活随笔為你收集整理的hadoop3.1伪分布式部署的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。