windows上hadoop安装(cygwin等)
http://cjnetwork.iteye.com/blog/1474745
hadoop運行方式
1、本機方式：不做任何配置
2、偽分布式：pseudo distributed
3、全分布式：full distributed
由于hadoop只能運行于linux（unix類型）操作系統上，因此在windows上做開發、測試，需要安裝cygwin來模擬linux環境。
一、cygwin安裝
直接到cygwin上下載安裝配置程序setup.exe，該程序并不包含實際的安裝文件，只是一個外殼，啟動之后可以選擇1、在線安裝，并將需要的文件下載到本地；2、只下載需要安裝的文件到本地，并不安裝；3、從本地文件中定位已下載好的安裝文件，然后進行安裝。
這里有一個概念，安裝外殼程序（控制安裝過程）、需要安裝的文件，將安裝過程分為不同部分，分別處理，可以根據需求，擴展需要安裝的文件，而不需要修改安裝的外殼程序。
根據需要選擇一種方式，然后需要安裝的組件：openssh、vim、rpm，根據提示選擇路徑，安裝好cygwin。
cygwin簡單說明
cygwin能夠模擬linux語法，在選擇安裝組件后，能使用已安裝的組件，如上例中正確安裝了vim，則可以使用vim文件編輯工具，其他的可根據需要自己選擇安裝。在cygwin中可以像在linux環境下運行一樣處理，模擬了linux的文件系統。還有一個特點就是cygwin還可以使用windows中的命令，也就是說cygwin不僅模擬了linux運行環境，而且還能使用windows中自身的腳本或命令。例如：在windows中設置了java的運行環境，則在cygwin中無需安裝java運行環境，直接輸入java -version就能和在windows中的cmd中的輸出一致。又例如，在windows中的環境變量中增加了java_home，那么在windows的cmd中執行echo %java_home%和在cygwin中執行echo %java_home將是一樣的。
在cygwin中建立軟連接
windows中安裝的java環境，可能安裝在包含空格的路徑中，如e:\program files\java，那么在cygwin模擬的linux環境中，如果是簡單執行java程序，那么沒有問題，cygwin本身就可以根據windows的環境變量找到java的運行環境，但如果是復雜一點的配置，如hadoop中，需要單獨配置java_home的環境變量，那么在配置文件中直接配置e:\program files\java這樣的路徑，是無法成功的。因此需要建立一個軟連接，將windows中的路勁映射到cygwin所模擬的linux系統上，命令 ln -s "E:\Program Files\Java\jdk1.6.0_20" /usr/local/jdk1.6.0_20
如此，就可以在hadoop的環境配置中將java的運行環境java_home設置為/usr/local/jdk1.6.0_20了。
二、安裝hadoop
將hadoop的壓縮包解壓得到hadoop-1.0.1，可以直接將該文件夾copy到
E:/cygwin/usr/local/下，也可以采用軟連接的方式將對應的hadoop文件映射到/usr/local/hadoop-1.0.1上(如:ln -s d:/soft/hadoop-1.0.1 /usr/local/hadoop-1.0.1)。
1、配置hadoop
(1)編輯文件/etc/profile增加
export HADOOP_INSTALL=/usr/local/hadoop-1.0.1
export PATH=$PATH:$HADOOP_INSTALL/bin
保存文件并使用命名source /etc/profile重新編譯使配置生效
完成之后可以使用命名檢查配置是否生效
hadoop -version，如果配置正確，則會正確輸出hadoop版本信息。
(2)編輯文件/usr/local/hadoop-1.0.1/conf/hadoop-env.sh增加
export JAVA_HOME=/usr/local/jdk1.6.0_20
(3)配置core-site.xml、hdfs-site.xml、mapred-site.xml文件
修改core-site.xml配置為
修改hdfs-site.xml配置為
修改mapred-site.xml配置為
2、格式化namenode
使用命令:hadoop namenode -format
三、配置ssh
(1)創建ssh服務器
使用命令 ssh-host-config
在交互階段選擇
Should privilege separation be used?yes
new local account 'sshd'?yes
Do you want to install sshd as a service?yes
Enter the value of CYGWIN for daemon:[]
當看到Host configuration finished.Have fun!表示安裝完成
啟動ssh服務，使用命令net start sshd
(2)采用密鑰方式登陸，不使用用戶/密碼方式登陸
使用命令
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
如果成功，則執行命名
ssh localhost不會提示輸入密碼，直接登陸成功
啟動hadoop
執行命令:start-all.sh(這相當于執行命名/usr/local/hadoop-1.0.1/bin/start-all.sh，因為在/etc/profile中加hadoop的bin路徑加入了環境變量path中)
?
=============
http://tech.it168.com/a2013/0218/1454/000001454443.shtml
安裝過程十分簡單，運行即可，程序會自動配置環境變量(在之前的版中還沒有這項功能，新版本的JDK中已經可以自動配置環境變量了)。
一、安裝Cygwin
Cygwin是在Windows平臺下模擬Unix環境的一個工具，只有通過它才可以在Windows環境下安裝Hadoop。可以通過這個鏈接下載Cygwin：
http://www.cygwin.cn/setup.exe
·雙擊運行安裝程序，選擇install from internet。
·根據網絡狀況，選擇合適的源下載程序。
·進入 select packages界面，然后進入Net，勾選openssl及openssh(如下圖所示)。
▲勾選openssl及openssh
如果打算在Eclipse上編譯Hadoop，還必須安裝“Base Category”下的“sed”(如下圖所示)。
▲勾選sed
另外建議安裝“Editors Category”下的“vim”，以便在Cygwin 上直接修改配置文件。
二、配置環境變量
依次點擊我的電腦→屬性→高級系統設置→環境變量，修改環境變量里的path設置，在其后添加Cygwin的bin目錄和Cygwin的usr\bin目錄。
三、安裝和啟動sshd服務
點擊桌面上的Cygwin圖標，啟動Cygwin，執行ssh-host-config 命令，當要求輸入Yes/No時，選擇輸入No。當看到“Have fun”時，表示sshd 服務安裝成功。
在桌面上的“我的電腦”圖標上右擊，點擊“管理”菜單，啟動CYGWIN sshd 服務。
四、配置SSH免密碼登錄
執行ssh-keygen 命令生成密鑰文件。按如下命令生成authorized_keys文件：
?
總結
以上是生活随笔為你收集整理的windows上hadoop安装(cygwin等)的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 浅析Hadoop文件格式
- 下一篇： Sun地系统架构师考试（SCEA）