HDFS支持兩種RESTful接口：WebHDFS和HttpFS。
WebHDFS默認(rèn)端口號為50070，HttpFS默認(rèn)端口號為14000。
默認(rèn)啟動WebHDFS而不會啟動HttpFS，而HttpFS需要通過sbin/httpfs.sh來啟動。
WebHDFS模式客戶端和DataNode直接交互，HttpFS是一個代理模式。對于Hue，如果HDFS是HA方式部署的，則只能使用HttpFS模式。
HttpFS是獨立的模塊，有自己的配置文件httpfs-site.xml、環(huán)境配置文件httpfs-env.sh和日志配置文件httpfs-log4j.properties，需獨立啟動。
而WebHDFS是HDFS內(nèi)置模塊，無自己的配置文件、環(huán)境配置文件和日志配置文件，隨HDFS而啟動。

WebHDFS配置，在core-site.xml中加入以下內(nèi)容：

hadoop.proxyuser.$username.hosts</name><value>?</value></property><property><name>hadoop.proxyuser.$groupname.groups
*

“$username”的值為啟動HDFS的用戶名，“$groupname”為啟動HDFS的用戶組名。

HttpFS配置，在core-site.xml中加入以下內(nèi)容：

hadoop.proxyuser.httpfs.hosts



hadoop.proxyuser.httpfs.groups

對于HttpFS，還需要在httpfs-site.xml中加入以下內(nèi)容：

<property><name>httpfs.proxyuser.$username.hosts</name><value>*</value> </property> <property><name>httpfs.proxyuser.$groupname.groups</name><value>*</value> </property>

“$username”的值為啟動HttpFS的用戶名，“$groupname”為啟動HttpFS的用戶組名。

環(huán)境配置文件httpfs-env.sh可以不用修改，直接使用默認(rèn)的值，當(dāng)使用sbin/httpfs.sh start來啟動HttpFS時會屏幕輸出HTTPFS_HOME等值。

參考鏈接：
https://www.cnblogs.com/aquester/p/9891518.html
https://www.cnblogs.com/itboys/p/8552784.html

總結(jié)

以上是生活随笔為你收集整理的配置HDFS HttpFS和WebHDFS的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。