日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 人文社科 > 生活经验 >内容正文

生活经验

linux下安装hadoop

發布時間:2023/11/27 生活经验 36 豆豆
生活随笔 收集整理的這篇文章主要介紹了 linux下安装hadoop 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

關鍵詞:Ubuntu;hadoop;

注意:開始這一步之前,需安裝Oracle的jdk,參見:

http://www.cnblogs.com/fengfengqingqingyangyang/archive/2012/11/06/2756981.html

1、下載hadoop的合適版本:http://labs.mop.com/apache-mirror/hadoop/common/

我下載的是hadoop-1.1.0.tar.gz

2、在/usr下創建hadoop目錄,并將gz文件復制到hadoop目錄下;

  命令行下解壓gz文件:tar -xzf hadoop-1.1.0.tar.gz

  為方便管理,修改目錄名:mv hadoop-1.1.0 hadoop

3、創建名為hadoop的用戶組和用戶

  addgroup hadoop? #用戶組

  adduser --ingroup hadoop hadoop

ps:創建用戶時只需輸入密碼即可,其他回車選擇默認

4、gedit打開sudoers文件,修改hadoop的權限:

  gedit /etc/sudoers????

ps:無法打開sudoers時,請切換至root再執行本條及以下語句。

??? 在root ALL=(ALL)ALL語句之下添加如下一行后保存sudoers:

hadoop ALL=(ALL)ALL

PS:特別注意大小寫!!!血和淚的教訓告訴你linux中大小寫的重要性!!!

5、創建ssh-key:

5.1、確保網絡通暢,然后裝載ssh服務?

???apt-get?install?openssh-server?

??注:如果此語句執行失敗且結果為“....包被占用”的話,那么應該是ubuntu的“更新管理器”正在后臺更新,關閉更新。

5.2、生成密鑰

?ssh-keygen?-t?dsa?-P?''?-f?~/.ssh/id_dsa? #其中‘’為兩個而分號!

5.3、設置免密鑰登陸

?cat?~/.ssh/id_dsa.pub?>>?~/.ssh/authorized_keys

5.3、進入.ssh目錄,執行$ssh?localhost

?cd?/home

?ssh?localhost?

注1:?ssh密鑰默認保存在/home/hadoop/.ssh里面,.ssh文件是隱藏文件,需要Ctrl+h才能見到。

注2:如果執行ssh?localhost后,遇到這樣的錯誤:

hadoop@ubuntu:~$?ssh?localhost

ssh:?connect?to?host?localhost?port?22:?Connection?refused

方法是:再安裝一遍SSH

?apt-get?install?openssh-server?

6、配置hadoop

6.1、進入到hadoop目錄下,配置conf目錄下的hadoop-env.sh中的JAVA_HOME?

???$?cd?/usr/hadoop/hadoop? #根據你解壓hadoop的位置而定

???$?sudo?gedit?conf/hadoop-env.sh?

(打開后在文檔的上部某行有“#export?JAVA_HOME=......”字樣的地方,去掉“#”,然后在等號后面填寫你的jdk路徑,完全按此文檔來的話應改為?"?export?JAVA_HOME=/usr/java/jdk1.6.0_34"?)?

6.2、配置conf目錄下的core-site.xml?

??$?sudo?gedit?conf/core-site.xml?

打開后標簽<configuration>?</configuration>中是空的,所以在空的地方加入如下配置:

Xml代碼

<property>

???????<name>fs.default.name</name>

???????<value>hdfs://localhost:9000</value>?

</property>

?

?<property>

???????<name>dfs.replication</name>

???????<value>1</value>?

</property>

?

<property>?

???????<name>hadoop.tmp.dir</name>

???????<value>/usr/hadoop/hadoop/tmp</value>? <!--這里為安裝路徑,并且要事先mkdir個temp目錄-->?

</property>

??

6.3、配置conf目錄下的mapred-site.xml?

????$?sudo?gedit?conf/mapred-site.xml?

打開后標簽<configuration>?</configuration>中也是空的,添加如下配置:?

Xml代碼

<property>????

??????<name>mapred.job.tracker</name>????

??????<value>localhost:9001</value>??

?</property>??

7、首次進入需格式化namenode:

7.1、先進入hadoop目錄?

???$?cd?/usr/hadoop/hadoop #與解壓的hadoop包路徑有關

7.2、格式化namenode?

???$?hadoop?namenode?-format??

PS:如果hadoop沒響應,切換到root模式查看/etc/profile文件中在配置jdk路徑時的"export PATH=......."中是否有hadoop的路徑,如果沒有加上則添加,并重新啟動即可:

hadoop如果仍舊不能用的話,不妨用帶路徑的命令方式:~/usr/hadoop/hadoop/bin/hadoop

PS:記得用echo $?查看是否執行成功:返回0說明成功;返回其他說明仍有錯誤!

8、啟動hadoop進程:

bin/start-all.sh?

PS:如果NameNode沒有成功啟動的話就要先執行"bin/stop-all.sh"停掉所有東西,然后重新格式化namenode

9、用jps查看打開的進程:

至此,單機的hadoop安裝完畢!

轉載于:https://www.cnblogs.com/fengfengqingqingyangyang/archive/2012/11/06/2757309.html

總結

以上是生活随笔為你收集整理的linux下安装hadoop的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。