2019獨(dú)角獸企業(yè)重金招聘Python工程師標(biāo)準(zhǔn)>>>

???? ? ? 在前面的文中我們分別搭建了單機(jī)和集群的Hadoop環(huán)境，今天我們將實(shí)踐使用Eclispe開(kāi)發(fā)工具安裝

hadoop的開(kāi)發(fā)插件，并且使用hadoop插件連接Hadoop遠(yuǎn)程集群，文中有什么不對(duì)的地方，請(qǐng)大家指出來(lái)

共同學(xué)習(xí)。

一、環(huán)境準(zhǔn)備

1.Eclipse Java EE IDE for Web Developers- Oxygen.2 Release (4.7.2)

2.Eclipse的Hadoop插件hadoop-eclipse-plugin-2.6.0.jar

3.Hadoop集群環(huán)境

4.deepin15.5穩(wěn)定版linux系統(tǒng)

注：以上都是本次實(shí)踐的版本，大家可以選擇適合自己的版本

二、安裝Eclispe的Hadoop開(kāi)發(fā)插件

1.下載Eclipse的Hadoop插件hadoop-eclipse-plugin-2.6.0.jar，下載地址：

https://github.com/winghc/hadoop2x-eclipse-plugin

2.將插件復(fù)制到eclipse安裝目錄下的plugins目錄

3.啟動(dòng)或者重啟Eclispe開(kāi)發(fā)工具

4.打開(kāi)eclipse的show View窗口，看到了我們安裝的Hadoop的插件

5.點(diǎn)擊Map/Reduce Locations打開(kāi)視圖

出現(xiàn)的是hadoop的Map/Reduce開(kāi)發(fā)相關(guān)的視圖，在視圖區(qū)域右上方有藍(lán)色小象的添加按鈕，此時(shí)插件工作配置完成

三、啟動(dòng)Hadoop集群環(huán)境

1.SSH連接Hadoop集群的master節(jié)點(diǎn)機(jī)器，啟動(dòng)hadoop集群

2.驗(yàn)證集群是否正常啟動(dòng)

在master節(jié)點(diǎn)執(zhí)行hadoop dfsadmin -report驗(yàn)證

打開(kāi)yarn的web查看

hadoop集群搭建可參考《hadoop(04)、Hadoop 集群模式搭建實(shí)踐 》

四、創(chuàng)建配置Map/Reduce Locations

1. 打開(kāi)eclispe到Map/Reduce Locations視圖窗口

2.點(diǎn)擊藍(lán)色小大象按鈕

3.配置Map/Reduce Locations信息

注意填寫(xiě)參數(shù)：

Lacation Name：為該位置命名
MapReduce Master：與$HADOOP_DIRCONF/mapred-site.xml配置保持一致；
HDFS Master：與$HADOOP_DIRCONF/core-site.xml配置保持一致
User Name：登錄hadoop用戶(hù)名，可以填寫(xiě)其他的

4.點(diǎn)擊完成即可

5.驗(yàn)證配置，點(diǎn)擊DFS? Locations

五、總結(jié)

???????? 本文主要實(shí)踐了eclispe安裝hadoop的插件，和在eclispe下使用hadoop插件連接遠(yuǎn)程hadoop集群的操作，后面我們將使用改開(kāi)發(fā)環(huán)境開(kāi)發(fā)hadoop的作業(yè)任務(wù)。

?

??????

????????

轉(zhuǎn)載于:https://my.oschina.net/zss1993/blog/1593743

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來(lái)咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的hadoop(05)、使用Eclipse连接远程Hadoop集群的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。