1、安裝Ubutun 14.04 Desktop LTS

---

• 下載ISO文件，ubuntu-14.04.1-desktop-amd64.iso。
• 在Virtualbox或者VmWare中新建虛擬機(jī)，將ISO文件設(shè)置為啟動(dòng)光盤。
• 一路下一步，在需要輸入用戶的地方，輸入用戶名hduser，直到系統(tǒng)安裝完成。
• 重啟虛擬機(jī)，使用hduser登錄系統(tǒng)。設(shè)置root的密碼，輸入sudo passwd命令：
  • hduser@hduser-VirtualBox:~$ sudo passwd
  • [sudo] password for hduser: （輸入自己的密碼）
  • 輸入新的 UNIX 密碼： （設(shè)置root密碼）
  • 重新輸入新的 UNIX 密碼：（再次設(shè)置root密碼）?
  • passwd：已成功更新密碼
• 為了便于后面操作，在ubuntu內(nèi)安裝增強(qiáng)功能（virtualbox增強(qiáng)功能或者vmtools）
• 添加用戶到sudo組：
  • 命令：sudo adduser hduser sudo。如果用戶已經(jīng)在此組內(nèi)會(huì)提示。
• 添加組hadoop，并將hduser添加至組hadoop（groups命令可以查看用戶所在的組）：
  • su
  • addgroup hadoop
  • usermod -a -G hadoop hduser

2、配置ssh免密碼登錄

---

• 安裝ssh server：sudo apt-get install openssh-server
• cd ~/.ssh/ ? ? ? ? ? ? ? ? ? ? ? ? # 若沒(méi)有該目錄，請(qǐng)先執(zhí)行一次ssh localhost ssh-keygen -t rsa????????????? # 會(huì)有提示，都按回車就可以 cat id_rsa.pub >> authorized_keys? # 加入授權(quán)
• 使用ssh localhost試試能否直接登錄

3、配置JDK

---

• 到Oracle官網(wǎng)下載JDK1.7，http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html。下載jdk-7u79-linux-x64.tar.gz。
• 由于準(zhǔn)備將JDK安裝至/usr/lib/jvm下，所以先到/usr/lib/目錄下建立jvm文件夾
  • cd /usr/lib/
  • sudo mkdir jvm
• 解壓下載的安裝包至jvm文件夾(jdk1.7.0_79)
  • sudo tar zxvf?/home/hduser/桌面/jdk-7u79-linux-x64.tar.gz?-C /usr/lib/jvm?
    
• 設(shè)置JAVA_HOME：
  • nano ~/.bashrc
    
  • 在第一行前面增加：export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_79，保存退出。
  • 使設(shè)置立即生效：source?~/.bashrc
• 測(cè)試JAVA_HOME是否設(shè)置成功，輸出了上面設(shè)置的路徑表示成功：
  • echo $JAVA_HOME

4、安裝Hadoop2.7.1

---

• 下載文件，http://hadoop.apache.org/releases.html，選擇2.7.1的binary格式下載。文件名為：hadoop-2.7.1.tar.gz。
• 我們選擇將 Hadoop 安裝至/usr/local/
  • sudo tar -zxvf??/home/hduser/桌面/hadoop-2.7.1.tar.gz?-C /usr/local
  • cd /usr/local/ sudo mv ./hadoop-2.7.1/ ./hadoop ? ? ? ? ? ? ?# 將文件夾名改為hadoop sudo chown -R hduser ./hadoop ? ? ? ?? ??? ? ? ?# 修改文件權(quán)限 測(cè)試安裝是否成功，如果出現(xiàn)命令幫助表示成功：/usr/local/hadoop/bin/hadoop
• 配置環(huán)境變量
  • nano ~/.bashrc
    
  • 打開(kāi)界面后，在之前配置的JAVA_HOME后面輸入：

export HADOOP_INSTALL=/usr/local/hadoop export PATH=$PATH:$HADOOP_INSTALL/bin export PATH=$PATH:$HADOOP_INSTALL/sbin export HADOOP_MAPRED_HOME=$HADOOP_INSTALL export HADOOP_COMMON_HOME=$HADOOP_INSTALL export HADOOP_HDFS_HOME=$HADOOP_INSTALL export YARN_HOME=$HADOOP_INSTALL

• • 使設(shè)置立即生效：source?~/.bashrc
  • 檢查是否安裝成功，執(zhí)行命令，如果出現(xiàn)命令幫助表示成功：hdfs

5、配置偽分布式

---

• 切換至配置文件目錄： ?cd?/usr/local/hadoop/etc/hadoop
• 配置 core-site.xml，執(zhí)行命令：nano core-site.xml。將文件中的<configuration></configuration>替換為：
  • <configuration> ??? <property> ??????? <name>hadoop.tmp.dir</name> ??????? <value>file:/usr/local/hadoop/tmp</value> ??????? <description>Abase for other temporary directories.</description> ??? </property> ??? <property> ??????? <name>fs.defaultFS</name> ??????? <value>hdfs://localhost:9000</value> ??? </property> </configuration>
• 配置 hdfs-site.xml，執(zhí)行命令：nano?hdfs-site.xml，修改為：
  • <configuration> ??? <property> ??????? <name>dfs.replication</name> ??????? <value>1</value> ??? </property> ??? <property> ??????? <name>dfs.namenode.name.dir</name> ??????? <value>file:/usr/local/hadoop/tmp/dfs/name</value> ??? </property> ??? <property> ??????? <name>dfs.datanode.data.dir</name> ??????? <value>file:/usr/local/hadoop/tmp/dfs/data</value> ??? </property> </configuration>

? ??? ??關(guān)于Hadoop配置項(xiàng)的一點(diǎn)說(shuō)明： 雖然只需要配置 fs.defaultFS 和 dfs.replication 就可以運(yùn)行（官方教程如此），不過(guò)若沒(méi)有配置 hadoop.tmp.dir 參數(shù)，則默認(rèn)使用的臨時(shí)目錄為 /tmp/hadoo-hadoop，而這個(gè)目錄在重啟時(shí)有可能被系統(tǒng)清理掉，導(dǎo)致必須重新執(zhí)行 format 才行。所以我們進(jìn)行了設(shè)置，同時(shí)也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir，否則在接下來(lái)的步驟中可能會(huì)出錯(cuò)。

• 配置yarn-site.xml，執(zhí)行命令：nano yarn-site.xml，修改為：
  • <configuration> ? <property> ?? <name>yarn.nodemanager.aux-services</name> ?? <value>mapreduce_shuffle</value> ? </property> ? <property> ?? <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> ?? <value>org.apache.hadoop.mapred.ShuffleHandler</value> ? </property> </configuration>
• 配置mapred-site.xml
  • 從模板文件復(fù)制一個(gè)xml，執(zhí)行命令：mv mapred-site.xml.template mapred-site.xml
  • 執(zhí)行命令：nano mapred-site.xml
  • 將文件修改為

<configuration> ? <property> ?? <name>mapreduce.framework.name</name> ?? <value>yarn</value> ? </property> </configuration>

• 配置完成后，執(zhí)行格式化：hdfs namenode -format。倒數(shù)第五行出現(xiàn)Exitting with status 0 表示成功，若為 Exitting with status 1 則是出錯(cuò)。
• 啟動(dòng)hadoop所有的進(jìn)程： start-all.sh
• 查看各個(gè)進(jìn)程是否正常啟動(dòng)，執(zhí)行：jps。如果一切正常，將看到下列結(jié)果：
  

2583 DataNode 2970 ResourceManager 3461 Jps 3177 NodeManager 2361 NameNode 2840 SecondaryNam

• 【注意】若執(zhí)行jps后提示：

程序 'jps' 已包含在下列軟件包中： * default-jdk * ecj * gcj-4.6-jdk * openjdk-6-jdk * gcj-4.5-jdk * openjdk-7-jdk 請(qǐng)嘗試：sudo apt-get install <選定的軟件包> ? 那么請(qǐng)執(zhí)行下面命令，手動(dòng)設(shè)置系統(tǒng)默認(rèn)JDK： sudo update-alternatives --install /usr/bin/jps jps?/usr/lib/jvm/jdk1.7.0_79/bin/jps 1 sudo update-alternatives --install /usr/bin/javac javac?/usr/lib/jvm/jdk1.7.0_79/bin/javac 300 sudo update-alternatives --install /usr/bin/java java?/usr/lib/jvm/jdk1.7.0_79/bin/java 300 ? 【參考文檔】 1、Hadoop安裝教程_單機(jī)/偽分布式配置_Hadoop2.6.0/Ubuntu14.04_廈大數(shù)據(jù)庫(kù)實(shí)驗(yàn)室博客 http://dblab.xmu.edu.cn/blog/install-hadoop/ 2、Installing Apache Hadoop 2.7.1 Pseudo Distributed Mode on Ubuntu Server 14.04.2 | Tech-AB | All Around Techniques and Technology http://www.tech-ab.net/bigdata/hadoop/installing-apache-hadoop-2-7-1-pseudo-distributed-mode-on-ubuntu-server-14-04-2/

轉(zhuǎn)載于:https://www.cnblogs.com/robinzh/p/4794702.html

總結(jié)

以上是生活随笔為你收集整理的在Ubutun 14.04 Desktop LTS上部署Hadoop 2.7.1（伪分布式）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。