這篇文章記錄下針對不同的hadoop版本進行服務部署的過程，希望可以幫到你們

• 安裝docker hadoop2.7.0
• 一鍵部署docker hadoop3.0.0集群(一個master 三個slave)
• 安裝docker hadoop 3.2.0
  a、docker啟動
  b、docker compose方式啟動

安裝hadoop 2.7.0版本

安裝命令

docker run --name hdfs2.7.3 -d -p 9000:9000 -p 50070:50070 georocket/hadoop-docker:2.7.3

50070是webui端口

9000是hdfs服務端口

查看啟動結果

docker logs -f 529923fd985e65c6aa1dab32b51acfc3bb4de94042b9079b8d1e62e760766821從日志中可以看出 啟動方式-啟動用戶-啟動服務hadoop-root-namenode hadoop-root-datanode hadoop-root-secondarynamenode yarn--resourcemanager yarn-root-nodemanager mapred--historyserver

hadoop相關端口

docker ps|grep hadoop529923fd985e georocket/hadoop-docker:2.7.3 "/etc/bootstrap.sh -d" 36 minutes ago Up 36 minutes 2122/tcp, 8020/tcp, 8030-8033/tcp, 8040/tcp, 8042/tcp, 8088/tcp, 10020/tcp, 19888/tcp, 49707/tcp, 50010/tcp, 0.0.0.0:9000->9000/tcp, 50020/tcp, 50075/tcp, 50090/tcp, 0.0.0.0:50070->50070/tcp hdfs2.7.3

進入docker中 運行hadoop mapreduce

docker exec -it 529923fd985e65c6aa1dab32b51acfc3bb4de94042b9079b8d1e62e760766821 sh進入hadoop目錄cd $HADOOP_PREFIX

執行mapreduce程序

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+'計算結果保存在了 hdfs://529923fd985e:9000/user/root/output

從日志中可以看到這些關鍵信息

客戶端連接ResourceManager資源管理器 對應端口是8032 client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032提交一個mapreduce任務到 8088端口 mapreduce.Job: The url to track the job: http://529923fd985e:8088/proxy/application_1603590135211_0004/

查看計算結果

bin/hdfs dfs -cat output/*

通過頁面查看

http://127.0.0.1:50070/

安裝hadoop 3.0.0

安裝hadoop 3.1.1集群

一鍵啟動腳本

https://gitee.com/pingfanrenbiji/docker-hadoop

./start-hadoopContainer.sh 啟動一個master節點 3個slave節點

進入master容器

docker exec -it master sh

格式化hdfs

hadoop namenode -format

啟動hadoop

cd /usr/local/hadoop-3.1.1/sbin ./start-all.sh

查看是否啟動成功

jps

進入其他slave中

訪問web頁面

http://127.0.0.1:9870/

安裝hadoop 3.2.0版本

啟動腳本

https://gitee.com/pingfanrenbiji/hadoop-docker

啟動docker服務

# 啟動hadoop 3.2.0 docker run --rm --name hadoop -p 9870:9870 -p 9864:9864 -d crs4/hadoop:3.2.0# 進入docker docker exec -it hadoop bash -l# 創建一個目錄 hdfs dfs -mkdir -p "/user/$(whoami)"# 上傳文件 hdfs dfs -put entrypoint.sh# 打印hadoop版本 export V=$(hadoop version | head -n 1 | awk '{print $2}')# 提交hadoop任務 hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-${V}.jar wordcount entrypoint.sh wc_out# 運行hadoop任務 hdfs dfs -get wc_out# 獲取計算結果 head wc_out/part*

通過docker-compose啟動

docker-compose up -d

進入client

docker-compose exec client bashhdfs dfs -mkdir -p "/user/$(whoami)"

總結

以上是生活随笔為你收集整理的hadoop中的9000端口代表什么_hadoop服务快速部署的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。