日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

安装hadoop伪分布式集群心得

發布時間:2023/12/18 编程问答 26 豆豆
生活随笔 收集整理的這篇文章主要介紹了 安装hadoop伪分布式集群心得 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

?

1、hadoop安裝:

https://www.cnblogs.com/news1997/p/9522717.html

https://blog.csdn.net/y12345678904/article/details/80743333

(注意權限問題)

常見問題解決

ubantu16 手動設置ip后網絡重啟用:sudo service network-manager restart,不是sudo service network restart

2、SecureCRT安裝:https://my.oschina.net/u/3477605/blog/1814586(win10上沒有安裝成功,不過在window server 2012 服務器上安裝成功)

3、Linux vi編輯器常見命令的使:

http://c.biancheng.net/cpp/html/2735.html

4、能ping通,進行ssh連接時出現:ssh: connect to host xxx port 22: Connection refused

先查看一下ssh的狀態:sudo service ssh status,

檢查一下這個模塊有沒有裝,特別說明(例如:用A電腦連接B電腦,要檢查倆臺電腦上的ssh有沒有都安裝,只檢查A是沒有用的,我一開始是檢查A電腦的,A電腦是裝了的,然后我就迷茫了,能哭死)

我的是因為ssh軟件沒有安裝:運行sudo get-apt install ssh,如果報錯如下

更新下apt-get,(sudo apt-get update)。

5、免密鑰登陸

https://blog.csdn.net/wcx1293296315/article/details/82950311

自己和自己ssh時,需要將自己的 id_rsa.pub復制到authorized文件中

6、java jdk安裝

文檔虛擬機聯網不方便,就直接windows上上下載好,在secureCRT中,按快捷鍵(alt+p),調出sftp

用put? c:/XXX把C目錄下的文件復制到對應的虛擬機

然后解壓(tar -zxvf xxx),如果向移動到別的目錄?用(mv xxx ../aaa/bbb/)

在bin目錄下運行(./java -version)檢查是否在當前目錄下成功

b、配置java全局環境變量

打開配置文件(sudo vi /etc/profile)

在文件后面(shift+g)添加

JAVA_HOME=/home/app/XXX? ?(我把軟件都放到了app文件夾下)

export? PATH =$PATH:$JAVA_HOME/bin

配置完后并不會立即生效

執行(source /etc/profile)

7、hadoop安裝(要下載binary版本的,別下載source版本的,要不然你會找不到需要配置的文件,說多了都是淚)

  • sudo tar?-zxf ~/下載/hadoop-2.6.0.tar.gz -C /usr/local?# 解壓到/usr/local中
  • cd?/usr/local/
  • sudo mv?./hadoop-2.6.0/ ./hadoop?# 將文件夾名改為hadoop
  • sudo chown?-R hadoop ./hadoop?# 修改文件權限
  • 配置jdk和hadoop的環境變量:(vi etc/profile)在最后添加如下代碼:
  • JAVA_HOME=/usr/jdk-10.0.2

    HADOOP_HOME=/usr/local/hadoop

    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    然后運行source /etc/profile生效

    根據官網:http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation

    配置環境

    8、linux 常用命令

    tar -zxvf xxx

    rm -rf? ?xxx 刪除多級文件夾及內容

    mv xxx? ../aaa/nnn/? ?移動xxx到nnn文件夾下

    ?

    總結

    以上是生活随笔為你收集整理的安装hadoop伪分布式集群心得的全部內容,希望文章能夠幫你解決所遇到的問題。

    如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。