日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 综合教程 >内容正文

综合教程

windows下安装Hadoop,就是这么简单

發布時間:2023/12/31 综合教程 23 生活家
生活随笔 收集整理的這篇文章主要介紹了 windows下安装Hadoop,就是这么简单 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

Hadoop集群肯定還是要在linux下使用好些,但是對于想嘗鮮的開發者或者上層應用開發來說,在windows下搭建一個單節點的應用也是蠻有必要的,當然只作為開發測試環境^_^。

一、環境準備

1、JDK安裝

2、Hadoop安裝包(官網下載)

3、hadooponwindows-master(可使配置更簡潔)

二、安裝配置

1、以管理員身份解壓Hadoop安裝包,

2、配置Hadoop環境變量,

我的電腦 --> 屬性 --> 高級系統設置 --> 高級 --> 環境變量,新建HADOOP_HOME,然后將%HADOOP_HOME%in添加到Path中。

3、新建data(下面建倆子文件夾namenode和datanode)和tmp目錄,

4、修改啟動類hadoop-env.cmd,

主要是設置JAVA_HOME的路徑,我的文件目錄在 E:Dev2hadoophadoop-2.6.0etchadoop,(這里注意一下:如果jdk路徑中有“Program Files”,則將Program Files改為 PROGRA~1,否則會報錯)

5、修改配置文件(core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml)

核心操作就在這四個配置文件上面了,(如果下載了hadooponwindows-master,解壓后可以直接覆蓋bin和etc目錄,然后只修改這四個文件夾中的路徑信息就可以了)

(1)core-site.xml

(2)hdfs-site.xml

(3)mapred-site.xml

(4)yarn-site.xml

6、啟動格式化HDFS

首先,hadoop version,查看是否能正常運行,

然后,執行hdfs namenode -format

格式化之后,namenode文件里會生成一個current文件,則格式化成功。

三、Hadoop啟動

在cmd中執行start-all.cmd命令,啟動Hadoop,路徑:E:Dev2hadoophadoop-2.6.0sbin。

運行成功后,會出現四個窗口,分別是:yarn-resourcemanager、yarn-nodemanager、hadoop-namenode、hadoop-datanode。

如上,則恭喜,啟動成功。

四、HDFS操作測試

安裝好了Hadoop環境,接下來我們就敲下hadoop命令,上傳幾個文件操作實戰一下。

1、創建目錄

hadoop fs -mkdir hdfs://localhost:9000/my/

hadoop fs -mkdir hdfs://localhost:9000/my/testinput

2、上傳文件

hadoop fs -put E: est01.txt hdfs://localhost:9000/my/testinput

hadoop fs -put E: est02.txt hdfs://localhost:9000/my/testinput

3、查詢文件

hadoop fs -ls hdfs://localhost:9000/my/testinput

查詢到我們剛剛上傳的文件啦,恭喜,測試成功。

五、管理頁面

Hadoop自帶了web UI管理頁面,

1、資源管理(localhost:8088)

2、節點管理(localhost:50070)

總體來說Hadoop在windows下的安裝還是比較簡單的,只要按部就班就可以了。

轉載于:https://baijiahao.baidu.com/s?id=1631225218387105313&wfr=spider&for=pc

總結

以上是生活随笔為你收集整理的windows下安装Hadoop,就是这么简单的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。