安装hadoop伪分布式集群心得
?
1、hadoop安裝:
https://www.cnblogs.com/news1997/p/9522717.html
https://blog.csdn.net/y12345678904/article/details/80743333
(注意權限問題)
常見問題解決
ubantu16 手動設置ip后網絡重啟用:sudo service network-manager restart,不是sudo service network restart
2、SecureCRT安裝:https://my.oschina.net/u/3477605/blog/1814586(win10上沒有安裝成功,不過在window server 2012 服務器上安裝成功)
3、Linux vi編輯器常見命令的使:
http://c.biancheng.net/cpp/html/2735.html
4、能ping通,進行ssh連接時出現:ssh: connect to host xxx port 22: Connection refused
先查看一下ssh的狀態:sudo service ssh status,
檢查一下這個模塊有沒有裝,特別說明(例如:用A電腦連接B電腦,要檢查倆臺電腦上的ssh有沒有都安裝,只檢查A是沒有用的,我一開始是檢查A電腦的,A電腦是裝了的,然后我就迷茫了,能哭死)
我的是因為ssh軟件沒有安裝:運行sudo get-apt install ssh,如果報錯如下
更新下apt-get,(sudo apt-get update)。
5、免密鑰登陸
https://blog.csdn.net/wcx1293296315/article/details/82950311
自己和自己ssh時,需要將自己的 id_rsa.pub復制到authorized文件中
6、java jdk安裝
文檔虛擬機聯網不方便,就直接windows上上下載好,在secureCRT中,按快捷鍵(alt+p),調出sftp
用put? c:/XXX把C目錄下的文件復制到對應的虛擬機
然后解壓(tar -zxvf xxx),如果向移動到別的目錄?用(mv xxx ../aaa/bbb/)
在bin目錄下運行(./java -version)檢查是否在當前目錄下成功
b、配置java全局環境變量
打開配置文件(sudo vi /etc/profile)
在文件后面(shift+g)添加
JAVA_HOME=/home/app/XXX? ?(我把軟件都放到了app文件夾下)
export? PATH =$PATH:$JAVA_HOME/bin
配置完后并不會立即生效
執行(source /etc/profile)
7、hadoop安裝(要下載binary版本的,別下載source版本的,要不然你會找不到需要配置的文件,說多了都是淚)
JAVA_HOME=/usr/jdk-10.0.2
HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
然后運行source /etc/profile生效
根據官網:http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation
配置環境
8、linux 常用命令
tar -zxvf xxx
rm -rf? ?xxx 刪除多級文件夾及內容
mv xxx? ../aaa/nnn/? ?移動xxx到nnn文件夾下
?
總結
以上是生活随笔為你收集整理的安装hadoop伪分布式集群心得的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: matlab与树莓派通信
- 下一篇: 大数据学习视频