日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

Hadoop单机环境配置

發布時間:2024/4/17 编程问答 37 豆豆
生活随笔 收集整理的這篇文章主要介紹了 Hadoop单机环境配置 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

http://www.csdn.net/article/2010-11-28/282615

關于Hbase的介紹,可以參見http://wiki.apache.org/hadoop/Hbase與http://en.wikipedia.org/wiki/HBase。本文主要介紹在Ubuntu10.04環境下安裝配置單機版原生的HBase。在網絡上找到的文章要么語焉不詳,要么ungelia

關于Hbase的介紹,可以參見http://wiki.apache.org/hadoop/Hbase與http://en.wikipedia.org/wiki/HBase。本文主要介紹在Ubuntu10.04環境下安裝配置單機版原生的HBase。在網絡上找到的文章要么語焉不詳,要么ungeliable.于是記錄一下自己的安裝配置過程,做個STEP BY STEP的圖文并茂的教程,謹防自己以后忘記 。

安裝Hbase其實主要是配置好java環境以及Hadoop與Hbase的配置文件。

1.安裝并配置Java環境。在Ubuntu10.04默認的源使用的OpenJDK,在某些應用上OpenJDK并不被支持(如abicloud等).我們為了省事還是安裝sun java ,打開終端,輸入以下命令:

(1)安裝

sudo add-apt-repository "deb http://archive.canonical.com/ lucid partner"

sudo apt-get update

sudo apt-get install sun-java6-jre sun-java6-plugin sun-java6-fonts

sudo apt-get install sun-java6-jdk sun-java6-plugin sun-java6-fonts

查看是否安裝成功

$ java -version

(2) 設置默認的java解釋器。

sudo update-alternatives --config java

會出現下列圖面:

輸入你想選擇的編號。

(3)編輯java環境變量

sudo gedit /etc/environment

在彈出的environment文件中添加下列兩行:

CLASSPATH=.:/usr/lib/jvm/java-6-sun/lib? JAVA_HOME=/usr/lib/jvm/java-6-sun

保存退出,行文至此,java環境已經配置好。

2.安裝并配置Hadoop。雖說我安裝的是單機版的Hbase,但是由于Hadoop本來就是分布系統,使用SSH通訊。

(1)安裝ssh

sudo apt-get install ssh

(2)設置不用登錄密碼

<pre class="wiki">$ ssh-keygen -t rsa -f ~/.ssh/id_rsa -P ""</pre>

<pre class="wiki">$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys</pre>

?完成后登錄不用輸入密碼,第一次需要輸入回車鍵。???????

$ ssh localhost

$ exit

$ ssh localhost

$ exit

(3)下載解壓Hadoop,到http://hadoop.apache.org/common/releases.html#Download下載stable版本0.20.2.并解壓到/Home路徑

(4)修改hadoop-env.sh 。在本人機器上解壓路徑是/home/viki/hadoop-0.20.2,進入剛才所解壓的文件夾,修改之(需要root權限)。

cd hadoop-0.20.2

gedit conf/hadoop-env.sh

將以下java環境copy進去。

export JAVA_HOME=/usr/lib/jvm/java-6-sun-1.6.0.22

(5)設置xml文件,需要設置conf文件夾下的三個文件core-site.xml, hdfs-site.xml, mapred-site.xml。

gedit? conf/core-site.xml

將下面內容copy進該文件中:

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/var/hadoop/hadoop-\${user.name}</value>

</property>

</configuration>

保存退出,繼續修改另外一個文件hdfs-site.xml

gedit? conf/hdfs-site.xml

將下面內容copy進該文件

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

保存退出,修改最后一個文件

gedit mapred-site.xml

將下面內容copy進該文件

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

</configuration>

經歷以上步驟,所有文件修改完畢,已經設置好Hadoop單機測試環境,下面將是啟動Hadoop服務。

3.格式化Namenode并開啟所有Hadoop服務,查看服務狀態。

(1)格式化Namenode

bin/hadoop namenode -format

(2)啟動所有Hadoop服務

bin/start-all.sh

會出現下面畫面:

(3)查看服務狀態。

管理頁面:http://localhost:50030/jobtracker.jsp

本文轉載自:http://www.cnblogs.com/ventlam/archive/2010/11/24/hadoop.html


總結

以上是生活随笔為你收集整理的Hadoop单机环境配置的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。