Kafka作為分布式消息系統(tǒng)以其輕量級、可擴展、高通吐等特點而得到廣泛應用，最近在項目中用Kafka作為中間件進行數(shù)據(jù)交互。為了監(jiān)控Kafka的運行情況，在網(wǎng)上找了個開源的Kafka監(jiān)控工具Kafka-manager對Kafka集群監(jiān)控。為什么選用Kafka-manager而不是KafkaOffsetMonitor、Kafka Web Conslole呢？可以看https://blog.csdn.net/qq_33314107/article/details/81099091中的比較。另外本人自己也下了個KafkaOffsetMonitor試用，真的不是很好用，大家也可以自己試試。

Kafka發(fā)送接收消息實例

#Kafka安裝部署

Kafka安裝部署比較簡單，直接從官網(wǎng)下載源碼包解壓后就可以直接使用，本例中共有三個節(jié)點安裝Kafka，hostname分別為node1、node2、node4，zookeeper和Kafka端口均為默認端口。

#zookeeper啟動(假設(shè)已進入Kafka目錄)

bin/zookeeper-server-start.sh config/zookeeper.properties

#Kafka啟動

bin/Kafka-server-start.sh config/server.properties

#Kafka主題創(chuàng)建(創(chuàng)建名為Kafka_monitor的主題)

bin/Kafka-topics.sh --create --zookeeper node1:2181,node2:2181,node4:2181 --replication-factor 1 --partitions 60 --topic Kafka_monitor

#用python持續(xù)寫入json信息到Kafka_monitor主題

from

#用Python創(chuàng)建消費者持續(xù)消費Kafka_monitor中的消息

from Kafka import KafkaConsumer import jsonconsumer = KafkaConsumer(group_id= 'group4', bootstrap_servers= ['node1:9092'], value_deserializer=lambda m: json.loads(m.decode('ascii'))) consumer.subscribe(topics= ['Kafka_monitor']) for msg in consumer:print(msg)

Kafka-manager監(jiān)控

直接從github下載的Kafka-manager工程需要經(jīng)過sbt編譯打包才能試用，為了省去編譯的麻煩，可以去https://blog.wolfogre.com/posts/Kafka-manager-download/這一頁面中直接下載打包好的Kafka-manager，解壓后就可以開始試用。

在解壓后的conf目錄中打開 application.conf文件，修改其中的配置信息，修改Kafka-manager.zkhosts為自己的主機地址和端口。

#在解壓的目錄中啟動Kafka-manager

bin/Kafka-manager

默認情況下監(jiān)控打開的默認端口為9000，啟動完成后打開瀏覽器范圍監(jiān)控頁面如下圖：

點擊Cluster菜單下Add Cluster進行集群信息添加：

這時回到首頁，可以看到剛剛新增的Kafka集群已經(jīng)顯示到頁面中：

點擊集群名稱[test]，可以進入集群的詳細監(jiān)控頁面：

點擊頁面頭部的的broker、topic、consumers等條目，可以顯示集群的具體信息。

啟動Kafka中生產(chǎn)者和消費者兩個簡單的腳本，監(jiān)控頁面中的消費者信息如下如所示。

其他監(jiān)控類似，再次不再贅述。

Reference

https://blog.csdn.net/luanpeng825485697/article/details/81036028

https://blog.csdn.net/qq_33314107/article/details/81099091

https://blog.csdn.net/yuan_xw/article/details/79188565

https://blog.wolfogre.com/posts/kafka-manager-download/

本篇內(nèi)容在本人個人公眾號上也已發(fā)布，歡迎關(guān)注本人微信公眾號“勤菜鳥”。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的kafka 启动_Kafka管理工具Kafka Manager的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。