hadoop 伪分布模式
?
學習hadoop有一個星期了，先是看了看書，hadoop權威指南，很不錯的入門級教材。
書的內容偏向于基礎原理，多讀幾遍會收獲很多。
本人菜鳥一只，為了把自己的學習心得分享給大家，就在此開始記錄一下，希望大神們批評指點，好吧，主題開始：
hadoop 偽分布模式
操作系統：Centos6.2
JDK：jdk1.6.0_30
hadoop版本：hadoop-0.20.203.0
--建議不在root下操作，可以新建hadoop用戶和組
1.安裝JDK環境
--在/usr/java/目錄下解壓并安裝，安裝好之后配置一下環境變量PATH
--vi或者gedit /etc/profile 在最后添加java環境
----export JAVA_HOME=/usr/java/jdk1.6.0_30
----export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
----export PATH=$PATH:$JAVA_HOME/bin
--環境配置好之后，在終端里輸入java -version ，出現版本信息則表示成功，否則可能是環境路徑配置有誤，請仔細檢查。
2.ssh驗證配置
--Hadoop 需要使用SSH 協議，namenode 將使用SSH 協議啟動 namenode和datanode 進程，偽分布式模式數據節點和名稱節點均是本身，必須配置 SSH localhost驗證。
--驗證步驟有提示就按回車
----$ssh-keygen -t? rsa
有提示就按回車 然后通過命令行cd .ssh進入目錄 ?執行下面的命令，就會設置好無密碼登錄了
----$cat id_rsa.pub > authorized_keys
3.host主機的設置
127.0.0.1 localhost.localdomain localhost
::1 localhost6.localhostdomain6 localhost6
127.0.0.1 namenode datanode01
4.hadoop安裝與配置
--在用戶目錄下解壓hadoop并進行配置
----在conf目下找到hadoop-env.sh，打開編輯器添加下面的jdk安裝路徑
#set java env
export JAVA_HOME=/usr/java/jdk1.6.0_30
?--/conf/配置core-site.xml
?<property>
? ? ? ? ?<name>fs.default.name</name>
? ? ? ? ?<value>hdfs://namenode:9000/</value>
? ?</property>
? ?<property>
? ? ?<name>hadoop.tmp.dir</name>
? ? ?<value>/home/hadoop/hadooptmp</value>
? ?</property>
--?配置hdfs-site.xml
<property>
? ? ?<name>dfs.name.dir</name>
? ? ?<value>/home/hadoop/hdfs/name</value>
? </property>
? <property>
? ? ?<name>dfs.data.dir</name>
? ? ?<value>/home/hadoop/hdfs/data</value>
? </property>
? ? ?<property>
? ? ? ? ?<name>dfs.replication</name>
? ? ? ? ?<value>1</value>
? ? ?</property>
--配置mapred-site.xml
? ?<property>
? ? ? ? ?<name>mapred.job.tracker</name>
? ? ? ? ?<value>namenode:9001</value>
? ? ?</property>
--配置master，slaves文件
vi master 內容修改為 namenode
vi slaves 內容修改為 datanode01
hadoop偽分布模式算是基本配置好，然后測試一下吧
hadoop namenoede -format 格式化一下
./start-all.sh 啟動所有守護進程
然后jps一下 會看到下面的內容
6179 JobTracker
6296 TaskTracker
6367 Jps
5883 NameNode
6002 DataNode
6111 SecondaryNameNode
這樣才算是真正跑起來了 ? ??
大家快來試試吧！
?
文章比較簡略，我也是配置了大半天才成功，現在正在研究Hbase+Hive，就寫到這吧。
?
轉載于:https://blog.51cto.com/mygirl721/831596
總結
以上是生活随笔為你收集整理的hadoop 伪分布模式的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： WebDriver 小毛笔记（二）准备工
- 下一篇： getReadableDatabase(