Hadoop生態(tài)圈-Ambari控制臺功能簡介

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰

版權(quán)聲明：原創(chuàng)作品，謝絕轉(zhuǎn)載！否則將追究法律責(zé)任。

?

?

?

?

?

　　在經(jīng)歷一系列安裝過程之后（部署過HDP后我終于發(fā)現(xiàn)為什么大家喜歡用它了，部署比CDH簡單是他優(yōu)勢之一！），我們已經(jīng)新建了一個(gè)進(jìn)群并進(jìn)入到Ambari到集群控制臺首頁。Ambari到集群控制臺主要分為3個(gè)區(qū)域，如下圖所示：

　　好啦，接下來我會簡單介紹一下Ambari到核心功能。

?

一.集群管服務(wù)管理

　　Ambari 為Hadoop服務(wù)提供了一套強(qiáng)大的管理與維護(hù)的功能，包括集群用戶，服務(wù)安裝，服務(wù)監(jiān)控等。

1>.集群用戶

?　　如下圖所示，通過右上角Admin菜單進(jìn)入集群用戶頁面，我們可以看到Ambari對于已經(jīng)安裝的Hadoop服務(wù)都預(yù)建了一套用戶。這些用戶有兩層含義：

　　　　第一：Ambari系統(tǒng)內(nèi)部的服務(wù)用戶，這類用戶是存儲在Ambari自己的元數(shù)據(jù)數(shù)據(jù)庫中的；

　　　　第二：通過Agent服務(wù)在目標(biāo)主機(jī)上建立的linux用戶，Hadoop在運(yùn)行期間會使用這些Linux用戶。

　　Ambari高度自動化的集群用戶功能，不僅免去了通過原始手工維護(hù)集群用戶時(shí)的種種煩惱，也為日后集成權(quán)限，認(rèn)證系統(tǒng)提供了空間。

?

2>.集群服務(wù)控制與監(jiān)控

?　　Ambari 的管理控制臺還提供了對集群服務(wù)監(jiān)控的能力。為了便于理解，這里以HDFS位列來舉例說明。對于其他服務(wù)的監(jiān)控與HDFS類似。

　　如上圖所示，使用左側(cè)組件菜單點(diǎn)擊HDFS，可以看到右邊頁面切換成了HDFS的整體信息摘要，從摘要頁面可以看到HDFS的Namenode和Datanode服務(wù)的狀態(tài)概要信息，同時(shí)也能看到一些簡單的指標(biāo)，比如內(nèi)存垃圾回收次數(shù)，連接負(fù)載等。不僅如此，如下圖所示，通過右上角的“Server Actions”菜單，還能實(shí)現(xiàn)對HDFS進(jìn)行各種操作，例如啟動，停止，重啟，平衡負(fù)載，下載客戶端配置和刪除服務(wù)等等。只需要點(diǎn)點(diǎn)鼠標(biāo)就能完成集群服務(wù)的控制，這些功能和CDH幾乎是一樣的。對CDH熟悉的小伙伴來看HDP的界面估計(jì)會很快就能上手的喲！

?

?

二.集群服務(wù)配置

　　Ambari也提供對集群服務(wù)對配置進(jìn)行維護(hù)對功能，免去了手工修改配置對低效和繁瑣。為了便于理解，這里還是以HDFS為例來進(jìn)行舉例說明。

1>.查看HDFS常用的一些配置

?　　如下圖所示，在HDFS的信息摘要頁面點(diǎn)擊Config菜單，頁面會切換成HDFS的配置頁面。映入眼簾的是HDFS最常用的一些配置，例如NameNode和DataNode的文件路徑，NameNode和DataNode的堆內(nèi)存大小等等，我們可以通過圖形化交互的方式輕松的修改這些配置參數(shù)。

?

?

?

2>.HDFS的高級設(shè)置

?　　除了上述這些常用配置之外，還可以進(jìn)行更進(jìn)一步的高級設(shè)置。如下圖所示，點(diǎn)擊Advanced按鈕切換到高級設(shè)置頁面，可以看到在高級配置頁面已經(jīng)定義了HDFS所有的可配置項(xiàng)。

?

　　在找到需要修改的配置進(jìn)行修改之后單擊Save按鈕即可完成修改動作，如下圖所所示：

　　點(diǎn)擊保存后，可能要你輸入本次修改的一個(gè)備注信息！如下圖所示：

　　點(diǎn)擊上圖所示的“Save”成功后，可能會彈出如下圖所示的對話框（提示保存配置成功），點(diǎn)擊“ok”即可。

　　如下圖所示，如果修改的配置需要相應(yīng)的關(guān)聯(lián)服務(wù)重啟之后才能生效的化，Ambari也會通過提醒的方式讓我們快速地進(jìn)行服務(wù)重啟。?

　　下圖是重啟過程中的截圖：

3>.修改版本回退案例

?　　如果配置參數(shù)修改錯(cuò)誤了怎么辦呢？這個(gè)也不用咱們擔(dān)心，Ambari會自動記錄配置修改的歷史軌跡，每一次的修改都會再生成一個(gè)版本。如下圖所示：我們在修改之后可以隨時(shí)瀏覽歷史版本的配置項(xiàng)，還可以對比不同版本的配置內(nèi)容，甚至還可以恢復(fù)到某個(gè)版本的配置內(nèi)容喲！

?

?　　如下圖說是，我們將之前到配置修復(fù)回去，即將副本數(shù)為2恢復(fù)到之前到副本數(shù)為3到配置（因?yàn)樵诒酒┛椭形抑恍薷牡搅诉@一處參數(shù)！）：

　　如下圖所示，我們在V2的版本上恢復(fù)到V1的配置，那么會自動生成一個(gè)新的版本，修改后，我們依舊需要重啟服務(wù)喲！

?

?

　　重啟時(shí)，會有2個(gè)參數(shù)，一般情況下，我們應(yīng)該選擇第一個(gè)參數(shù)，如果你修改的參數(shù)是只針對Datanode節(jié)點(diǎn)生效的化，咱們也是可以只重啟DataNode節(jié)點(diǎn)的喲！

4>.通過HDFS原聲管理系統(tǒng)訪問NameNode UI系統(tǒng)

　　大多數(shù)組件服務(wù)都會擁有自己的一套原生管理系統(tǒng)，這里還是以HDFS為例來進(jìn)行舉例說明。如下圖說是，HDFS就有NameNode UI系統(tǒng)用來觀察集群狀態(tài)和查看文件。如果想快速鏈接到組件服務(wù)相應(yīng)的原聲UI系統(tǒng)可以通過“Quick Links”功能進(jìn)行便捷的頁面鏈接。

?

?

　　如下圖所示，點(diǎn)擊上圖中的“NameNode UI”按鈕就可以訪問NameNode 的WebUI界面。?

?

三.Ambari提供的輔助工具

　　Ambari 在提供了集群的安裝，管理和監(jiān)控功能的同時(shí)，還附帶了一些十分有用的輔助工具，用于提示Hadoop服務(wù)使用的易用性。

1>.HDFS文件管理

?　　HDFS是一個(gè)分布式文件系統(tǒng)，默認(rèn)的情況下我們只能通過它并提供Shell命令進(jìn)程日常的維護(hù)操作，這種操作方式有一定的使用門檻，并且不直觀。Ambari提供了針對HDFS的文件管理功能，讓我們通過可視化的方式查看HDFS上的目錄和文件列表，同時(shí)通過功能按鈕還能新建目錄和上傳文件，如下圖所示，這種管理方式十分的方便。

　　創(chuàng)建新目錄，如下：

　　如果你創(chuàng)建失敗時(shí)，可能會有以下的提示信息：

　　查看創(chuàng)建目錄失敗的原因（當(dāng)前用戶是admin），如下圖所示：

　　上面的報(bào)錯(cuò)是由于hdfs默認(rèn)是開啟用戶認(rèn)證的方式的，我們想要解決這個(gè)報(bào)錯(cuò)，暴力的方法有兩個(gè)：第一，關(guān)閉掉認(rèn)證機(jī)制；第二，使用hdfs用戶創(chuàng)建“/yinzhengjie”目錄即可。

[root@node101 ~]# su hdfs [hdfs@node101 root]$ hdfs dfs -ls / Found 2 items drwxrwxrwx - hdfs hdfs 0 2018-12-07 16:12 /tmp drwxr-xr-x - hdfs hdfs 0 2018-12-07 16:12 /user [hdfs@node101 root]$ [hdfs@node101 root]$ hdfs dfs -mkdir /yinzhengjie [hdfs@node101 root]$ [hdfs@node101 root]$ hdfs dfs -chmod -R 777 /yinzhengjie [hdfs@node101 root]$ [hdfs@node101 root]$ hdfs dfs -ls / Found 3 items drwxrwxrwx - hdfs hdfs 0 2018-12-07 16:12 /tmp drwxr-xr-x - hdfs hdfs 0 2018-12-07 16:12 /user drwxrwxrwx - hdfs hdfs 0 2018-12-07 22:14 /yinzhengjie [hdfs@node101 root]$

　　創(chuàng)建對應(yīng)的用戶到hdfs集群上。

　　如下圖所示，上傳本地文件到hdfs集群中。

?

?

2>.其他輔助工具

?　　其實(shí)Ambari提供了很多輔助工具，比如上述到HDFS文件管理。還有Hive 查詢工具，Yarn任務(wù)隊(duì)列管理，自助式分析系統(tǒng)等等。可能有的小伙伴會說：“并沒有什么卵用，CDH以及繼承了HUE，而HUE上述到這些功能基本上都包括！”，其實(shí)工具主要在于使用者本身，有的人喜歡使用CDH，他們更喜歡CDH炫酷都webUI界面！而有的人則喜歡HDP，這一點(diǎn)我并不要求大家使用那塊軟件，我的建議是：“CDH和HDP兩個(gè)產(chǎn)品，你熟悉哪個(gè)就用哪個(gè)比較好！”。由于我們在安裝的時(shí)候只安裝了基礎(chǔ)的監(jiān)控服務(wù)，以及HDFS和zookeeper服務(wù)，因此其他的功能我暫時(shí)就不給大家做一一舉例啦～

　　如果有機(jī)會的話我會給大家進(jìn)行一一的分享操作，時(shí)間也不早了，在這里我預(yù)祝大家工作順利！

?

轉(zhuǎn)載于:https://www.cnblogs.com/yinzhengjie/p/10086225.html

總結(jié)

以上是生活随笔為你收集整理的Hadoop生态圈-Ambari控制台功能简介的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。