日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

EFAK - Kafka可视化管理工具

發布時間:2024/3/24 编程问答 35 豆豆
生活随笔 收集整理的這篇文章主要介紹了 EFAK - Kafka可视化管理工具 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

前言

什么是EFAK

EFAK(Eagle For Apache Kafka,以前稱為 Kafka Eagle)EFAK是開源可視化和管理軟件。可以查詢、可視化、監控kafka集群,是將 kafka 的集群數據轉換為圖形可視化的工具。

為什么要用EFAK

  • Apache Kafka 沒有正式提供監控系統或頁面。

  • 開源Kafka監控系統功能太少或暫停維護。

  • 現有的監控系統難以配置和使用。

  • 一些監控系統無法滿足與現有IM的集成,如微信、釘釘等。

安裝

下載

可以在 GitHub 上下載EFAK源代碼自行編譯安裝,也可以下載二進制 .tar.gz 文件。

EFAK存儲庫
Githubhttps://github.com/smartloli/EFAK
下載http://download.kafka-eagle.org/

ps:推薦使用官方編譯的二進制安裝包

「安裝JDK」

如果Linux服務器上有JDK環境,這一步可以忽略,繼續下一步的安裝。如果沒有JDK,請先到Oracle官網下載JDK。

JAVA_HOME 配置 將二進制安裝包解壓到指定目錄:

cd?/usr/java tar?-zxvf?jdk-xxxx.tar.gz mv?jdk-xxxx?jdk1.8 vi?/etc/profileexport?JAVA_HOME=/usr/java/jdk1.8 export?PATH=$PATH:$JAVA_HOME/bin

然后,我們使用. /etc/profile使配置立即生效。

「提取 EFAK」

這里我們解壓到/data/soft/new目錄并解壓:

tar?-zxvf?efak-xxx-bin.tar.gz

如果之前安裝過版本,刪除修改后的版本,重命名當前版本,如下圖:

rm?-rf?efak mv?efak-xxx?efak

然后,配置 EFAK 配置文件

vi?/etc/profileexport? KE_HOME=/data/soft/new/efakexport? PATH=$PATH:$KE_HOME/bin

最后,我們使用. /etc/profile使配置立即生效。

配置EFAK系統文件 根據自身Kafka集群的實際情況配置EFAK,例如zookeeper地址、Kafka集群的版本類型(zk為低版本,kafka為高版本)、開啟安全認證的Kafka集群等。

cd?${KE_HOME}/conf vi?system-config.properties#?Multi?zookeeper&kafka?cluster?list?--?The?client?connection?address?of?the?Zookeeper?cluster?is?set?here efak.zk.cluster.alias=cluster1,cluster2 cluster1.zk.list=tdn1:2181,tdn2:2181,tdn3:2181 cluster2.zk.list=xdn1:2181,xdn2:2181,xdn3:2181#?Add?zookeeper?acl cluster1.zk.acl.enable=false cluster1.zk.acl.schema=digest cluster1.zk.acl.username=test cluster1.zk.acl.password=test123#?Kafka?broker?nodes?online?list cluster1.efak.broker.size=10 cluster2.efak.broker.size=20#?Zkcli?limit?--?Zookeeper?cluster?allows?the?number?of?clients?to?connect?to #?If?you?enable?distributed?mode,?you?can?set?value?to?4?or?8 kafka.zk.limit.size=16#?EFAK?webui?port?--?WebConsole?port?access?address efak.webui.port=8048###################################### #?EFAK?enable?distributed ###################################### efak.distributed.enable=false #?master?worknode?set?status?to?master,?other?node?set?status?to?slave efak.cluster.mode.status=slave #?deploy?efak?server?address efak.worknode.master.host=localhost efak.worknode.port=8085#?Kafka?offset?storage?--?Offset?stored?in?a?Kafka?cluster,?if?stored?in?the?zookeeper,?you?can?not?use?this?option cluster1.efak.offset.storage=kafka cluster2.efak.offset.storage=kafka#?Whether?the?Kafka?performance?monitoring?diagram?is?enabled efak.metrics.charts=false#?EFAK?keeps?data?for?30?days?by?default efak.metrics.retain=30#?If?offset?is?out?of?range?occurs,?enable?this?property?--?Only?suitable?for?kafka?sql efak.sql.fix.error=false efak.sql.topic.records.max=5000#?Delete?kafka?topic?token?--?Set?to?delete?the?topic?token,?so?that?administrators?can?have?the?right?to?delete efak.topic.token=keadmin#?Kafka?sasl?authenticate cluster1.efak.sasl.enable=false cluster1.efak.sasl.protocol=SASL_PLAINTEXT cluster1.efak.sasl.mechanism=SCRAM-SHA-256 cluster1.efak.sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule?required?username="admin"?password="admin-secret"; #?If?not?set,?the?value?can?be?empty cluster1.efak.sasl.client.id= #?Add?kafka?cluster?cgroups cluster1.efak.sasl.cgroup.enable=false cluster1.efak.sasl.cgroup.topics=kafka_ads01,kafka_ads02cluster2.efak.sasl.enable=true cluster2.efak.sasl.protocol=SASL_PLAINTEXT cluster2.efak.sasl.mechanism=PLAIN cluster2.efak.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule?required?username="admin"?password="admin-secret"; cluster2.efak.sasl.client.id= cluster2.efak.sasl.cgroup.enable=false cluster2.efak.sasl.cgroup.topics=kafka_ads03,kafka_ads04#?Default?use?sqlite?to?store?data efak.driver=org.sqlite.JDBC #?It?is?important?to?note?that?the?'/hadoop/kafka-eagle/db'?path?must?be?exist. efak.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.db efak.username=root efak.password=smartloli#?(Optional)?set?mysql?address #efak.driver=com.mysql.jdbc.Driver #efak.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull #efak.username=root #efak.password=smartloli

「啟動EFAK服務器(獨立)」 在$KE_HOME/bin目錄中,有一個ke.sh腳本文件。執行啟動命令如下:

cd?${KE_HOME}/bin chmod?+x?ke.sh?ke.sh?start

之后,當 EFAK 服務器重新啟動或停止時,執行以下命令:

ke.sh?restart ke.sh?stop

如下圖所示:

「啟動EFAK服務器(分布式)」

在$KE_HOME/bin目錄中,有一個ke.sh腳本文件。執行啟動命令如下:

cd?${KE_HOME}/bin #?sync?efak?package?to?other?worknode?node #?if?$KE_HOME?is?/data/soft/new/efak for?i?in?`cat?$KE_HOME/conf/works`;do?scp?-r?$KE_HOME?$i:/data/soft/new;done#?sync?efak?server?.bash_profile?environment for?i?in?`cat?$KE_HOME/conf/works`;do?scp?-r?~/.bash_profile?$i:~/;donechmod?+x?ke.sh? ke.sh?cluster?start

之后,當 EFAK 服務器重新啟動或停止時,執行以下命令:

ke.sh?cluster?restart ke.sh?cluster?stop

如下圖所示:

使用

儀表盤

查看Kafka brokers、topics、consumer 、Zookeepers信息等

創建主題

列出主題

該模塊跟蹤Kafka集群中的所有Topic,包括分區數、創建時間、修改Topic,如下圖所示:

主題詳情

每個Topic對應一個超鏈接,可以查看Topic的詳細信息,如下圖:

消費情況

數據預警

配置下郵件服務器的用戶名和密碼,就可以看到相應的預警數據了

以及最后的大屏展示

以上就是EFAK的安裝和使簡單用了,具體的項目里還有很多功能,推薦大家可以使用EFAK作為Kafka的可視化管理軟件

掃碼關注我的微信公眾號:Java架構師進階編程??獲取最新面試題,電子書

專注分享Java技術干貨,包括JVM、SpringBoot、SpringCloud、數據庫、架構設計、面試題、電子書等,期待你的關注!

總結

以上是生活随笔為你收集整理的EFAK - Kafka可视化管理工具的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。