CentOS 6.5 伪分布安装
CentOS 6.5 偽分布安裝
軟件準備? jdk-6u24-linux-i586.bin 、hadoop-1.2.1.tar.gz、hadoop-eclipse-plugin-1.2.1.jar 、
?????????Eclipse-jee-indigo-SR2-linux-gtk.tar.gz
假設:? 所有軟件壓縮包都放在? /home/hadoop 文件夾下。
?
1、JDK安裝
1．1???????????root用戶登錄，使用命令 mkdir? /usr/local/program 新建目錄program,用來存放jdk，本教材采用jdk版本 jdk-6u24-linux-i586.bin。
1.2 (如事先jdk在hadoop目錄下，則可以采用命令 cp /home/hadoop/ jdk-6u24-linux-i586.bin?/usr/local/program/? 進行復制)。
?
1.3 對jdk進行解壓
進入 /usr/local/program/ 目錄下，使用命令 ./jdk-6u24-linux-i586.bin進行解壓。
解壓成功：
會出現注冊界面，可以直接跳過：
1.4 可以選擇刪除 jdk的bin包，命令如下：
rm? -rf?jdk-6u24-linux-i586.bin.
?
1.5 配置jdk
Root 用戶登錄，執行命令? vim? /etc/profile??? (/etc/profile這個文件很重要，后面hadoop配置也會用到)。 ?按鍵盤i鍵，進行插入。
在后面添加如下：
?#set javaenvironment
exportJAVA_HOME=/usr/local/program/jdk1.6.0_24
exportJRE_HOME=/usr/local/program/jdk1.6.0_24/jre
exportCLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
exportPATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
?
按 Esc+（shift+;）+wq? 保存退出。
退出后輸入 source? /etc/profile?? 是配置生效。
?
配置完成后，在命令行中輸入java? -version 查看是否配置成功。
?
2、SSH無密碼驗證
2.1???????root權限下，輸入rpm –qa | grep openssh 命令看看 ssh和rsync是否安裝。
2.2???????生成無密碼密鑰對
使用ssh-kaygen –t rsa –P ‘ ‘ 命令
第一次驗證不是這樣，我這是第二次了，所以有overwrite，不過沒關系，我只是演示一下。
2.3???????把 id_rsa.pub追加到授權key里面去
命令? cat?~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
?
2.4? 驗證是否配置成功
?? 輸入 ssh? localhost 命令，看是否可以無密碼進行登錄。
不需要輸入密碼，只需要輸入 yes 即配置成功。
3、hadoop安裝
??3.1 把hadoop拷到 opt 目錄下，如果之前hadoop在hadoop目錄下，執行命令進行拷貝??? cp?/home/hadoop/hadoop-1.2.1.tar.gz? /usr/local/?
3.2 進入 hadoop目錄，對hadoop進行解壓。
?cd? /usr/local/ ????????????????tar?-zxvf?hadoop-1.2.1.tar.gz
解壓完畢：
3.3 配置環境變量
? 命令? vim? /etc/profile
輸入?? #set hadoop
??????export?HADOOP_HOME=/usr/local/hadoop-1.2.1
??????export?PATH=$PATH:$HADOOP_HOME/bin
退出? 輸入 source?/etc/profile 使配置文件生效。
?
?
3.4 配置hadoop 配置文件
?命令? cd?/usr/local/hadoop-1.2.1/conf?? 進入conf目錄
3.4.1 配置 hadoop-env.sh 文件
打開文件命令?? vim? hadoop-env.sh
添加?????????? #setjava environment
?????????????? export JAVA_HOME=/usr/local/program/jdk1.6.0_24
編輯后保存退出。
?
下面三個文件配置非常重要!!!
3.4.2???????配置core-site.xml? 文件
<?xmlversion="1.0"?>
<?xml-stylesheettype="text/xsl" href="configuration.xsl"?>
<!--Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000/</value>注：9000后面的“/”不能少
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-1.2.1/hadooptmp</value>
</property>
</configuration>
3.4.3???????配置 hdfs-site.xml? 文件
<?xmlversion="1.0"?>
<?xml-stylesheettype="text/xsl" href="configuration.xsl"?>
<!--Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
?
3.4.4???????配置 mapred-site.xml?? 文件
<?xmlversion="1.0"?>
<?xml-stylesheettype="text/xsl" href="configuration.xsl"?>
<!--Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
?
配置以上三個文件一定要注意，千萬不能寫錯了！！！
?
3.4.5 配置 masters文件和slaves文件
[root@masterconf]# vim masters
localhost
[root@masterconf]# vim slaves
localhost
注：因為在偽分布模式下，作為 master 的 namenode 與作為 slave 的 datanode 是同一臺
服務器，所以配置文件中的 ip 是一樣的。
?
3.4.6? 主機名和IP 解析設置 （這一步非常重要）
?? 命令?? vim? /etc/hosts
3.4.7 編輯主機名
命令? vim? /etc/hostname
????? vim? /etc/sysconfig/network
?
?
?
?
?
?
?
4、啟動 hadoop
?命令 ?cd? /usr/local/hadoop-1.2.1/bin?? 進入bin目錄
先格式化? 命令? hadoop?namenode? -format
啟動???? 命令? ?start-all.sh?????????
查看? ?jps
?
?
?
?
5、安裝 eclipse
5.1 把eclipse 拷到opt文件夾下
? 命令 cp?/home/hadoop/ecipse-jee-indigo-SR2-linux-gtk.tar.gz? /opt
?
5.2 對eclipse 進行解壓
?
解壓成功
?
5.3? 插入插件hadoop-eclipse-plugin-1.2.1.jar
命令 cp? /home/hadoop/hadoop-eclipse-plugin-1.2.1.jar? /opt/eclipse/plugins
?
?
?
5.4 啟動eclipse
?
配置eclipse
?
創建 DFS Location
查看配置是否有錯
?
?
創建工程
運行代碼
轉載于:https://www.cnblogs.com/baolibin528/p/hadoop1_2_1.html
總結
以上是生活随笔為你收集整理的CentOS 6.5 伪分布安装的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： css进阶读书笔记
- 下一篇： Unity3D教程宝典之Web服务器篇: