Ubuntu中搭建Hadoop2.5.2完全分布式系统（一）
Hadoop平臺搭建有三種模式，分別是單機模式、偽分布模式、完全分布模式。單機模式是在單一計算機或者服務器上運行Hadoop，沒有分布式的文件上傳和任務分配等功能。它執行的流程仍然是Map/Reduce，但是是文件和程序都在本機上，可以看成只有一個節點的Hadoop平臺。偽分布模式也是單一計算機或者服務器，但是它在單一節點上用不同的Java進程模擬出來NameNode、DataNode、JobTracke、TaskTracker等節點。實際工作時，它會把不同的節點，每個模擬出來的節點執行時和在完全分布式情況下真實的節點執行是相同的。完全分布式的Hadoop平臺建立在多個計算機或者服務器上，每個節點有著固定的角色，各司其職。這種模式的優勢就是能夠真正的體現出分布式計算的快速和便捷。
本實驗平臺由三臺服務器構成，包括一臺NameNode節點，兩個DataNode節點。服務器安裝的是Ubuntu14.04系統。整個實驗室的所有電腦和Hadoop平臺配置在在一個局域網下，每臺電腦都可以通過遠程登錄來登錄三個服務器中的任意一個來查看該節點的信息，也可以在自己的電腦上通過eclipse插件直接上傳任務到Hadoop平臺上。所有的設備都通過交換機連接。搭建Hadoop平臺主要有以下幾步：
一、設置相關參數及Hadoop安裝
1.1設置靜態IP
如果不進行靜態IP地設定，每次運行Hadoop環境時，Hadoop會自動分配IP，并不影響使用。但為了方便查看各個節點信息和狀態，將它們設定為靜態IP。本Hadoop平臺一共有三個服務器，對這三個服務器的靜態IP設定方法相同。三個服務器中有一個NameNode和兩個DataNode。它們的靜態IP設定如下：
hadoop-namenode???? 192.168.1.110
hadoop-datanode1???? 192.168.1.111
hadoop-datanode2???? 192.168.1.112
下面以hadoop-namenode這個節點服務器為例，對靜態IP設置進行描述。
首先，在終端中輸入命令sudo gedit /etc/network/interfaces
打開interfaces文件后，根據下圖進行更改。點擊保存，保存修改。eth3表示是這個網卡連接網線接入到Hadoop集群中，用戶根據自己的接入網卡選擇eth。
然后修改DNS解析，在終端輸入命令sudo gedit /etc/resolv.conf
打開resolv.conf,根據下圖進行修改。點擊保存。這里的DNS域名為中國天津移動提供的DNS服務器。一共設置兩個DNS，后一個為備用。
用戶可以根據自己的實際DNS進行配置。
?
最后，在終端輸入命令：sudo /etc/init.d/network restart重啟網卡。
在datanode1和datanode2中也需要進行靜態IP設置，方法同上。只是IP不同。
1.2安裝ssh
ssh是建立在應用層和傳輸層基礎上的安全協議，它的目的是為遠程通信和遠程登錄建立安全可靠的傳輸協議。使用ssh可以對傳輸文件進行加密，并且對傳輸的文件進行壓縮，增加傳輸速度。Hadoop集群的各個結點之間需要進行數據的訪問，被訪問的結點對于訪問用戶結點的可靠性必須進行驗證，Hadoop采用的是ssh的方法通過密鑰驗證及數據加解密的方式進行遠程安全登錄操作，當然，如果Hadoop對每個結點的訪問均需要進行驗證，其效率將會大大降低，所以才需要配置SSH免密碼的方法直接遠程連入被訪問結點。
啟動Hadoop后，NameNode采用ssh來啟動或者停止各個DataNode，所以需要在每個服務器上都安裝ssh，并將節點之間執行指令的時候設定為不需要輸入密碼的形式。配置ssh使用無密碼公鑰認證模式，讓NameNode和DataNode之間可以無密碼進行登錄。
首先在終端中輸入sudo apt-get install openssh-server ，然后輸入Y完成安裝。
安裝之后，輸入sudo /etc/init.d/ssh start啟動服務 ，可以輸入ps -e | grep ssh來查看服務器是否啟動無誤，如下圖所示：
?
由于需要多個服務器之間進行通信，所以需要設置免密碼登錄，在終端中輸入ssh-keygen -t rsa -P ""
然后會在/home/hadoop/.ssh下生成id_rsa私鑰文件和id_rsa.pub公鑰文件。
輸入命令：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys將公鑰添加到authorized_keys中，登錄ssh。顯示如下：
?
?????? 在其他兩臺DataNode服務器上按照相同的步驟進行配置。最終實現服務器之間的無密碼訪問。
1.3給Hadoop用戶添加權限
本Hadoop集群中，每個電腦的用戶名都為Hadoop。給Hadoop用戶添加權限是為了讓其具有訪問其他文件的權力。
在終端輸入：sudo gedit /etc/sudoers
打開sudoers后，在其中添加：hadoop? ?ALL=（ALL:ALL） ALL
如圖所示：
?
1.4安裝Java環境
本服務器安裝的是jdk1.7.0，JDK（Java Development Kit）是java語言的軟件開發工具包。安裝JDK后，可以使用eclipse對Hadoop進行編程。
在終端輸入sudo apt-get install openjdk-7-jdk
然后輸入Y，完成安裝。
1.5安裝Hadoop
本集群安裝的是hadoop2.5.2，在官網可以直接下載。
在終端輸入
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.5.2/hadoop -2.5.2.tar.gz
下載hadoop2.5.2版本。
下載完成后輸入tar zxvf hadoop-2.5.2.tar.gz進行解壓，解壓完成后需要對Hadoop的文件進行配置。
二、配置Hadoop相關文件
2.1配置 .bashrc文件
.bashrc文件主要用于保存用戶的個人設置，如命令別名，路徑等信息。跟windows系統下的環境變量的作用類似。在這個文件里，我們添加java的JDK路徑和Hadoop的各種路徑。
在配置.bashrc之前，先通過輸入update-alternatives - -config java查看java的安裝路徑為：/usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java，在后面的配置中，只取前面：/usr/lib/jvm/java-7-openjdk-amd64部分。
在終端中輸入sudo gedit ~/.bashrc 配置java路徑和Hadoop安裝路徑。
打開之后，在文件最后添加下圖中所示的路徑。
然后點擊保存，再在終端中執行source ~/.bashrc使其生效。
在?Ubuntu中搭建Hadoop2.5.2完全分布式系統（二）中，將會繼續進行闡述
轉載于:https://www.cnblogs.com/tjucs/p/4629293.html
總結
以上是生活随笔為你收集整理的Ubuntu中搭建Hadoop2.5.2完全分布式系统（一）的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 《税的真相》—— 读后总结
- 下一篇： ubuntu openstack spi