日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

kafka不使用自带zk_Kafka监控必备——Kafka-Eagle 2.0.2正式发布

發布時間:2024/4/13 编程问答 32 豆豆
生活随笔 收集整理的這篇文章主要介紹了 kafka不使用自带zk_Kafka监控必备——Kafka-Eagle 2.0.2正式发布 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

對于經常使用Kafka的同學,擁有一個炫酷又實用的監控系統是非常有必要的。可以實時的監控數據流的情況,了解實時數據流的變化。

Kafka Eagle

Kafka Eagle是一個監控系統,監控Kafka群集以及偏移量,消費者等等。

通過Kafka Eagle可以看到當前的消費者組,對于每個組,他們正在使用的主題以及該組在每個主題中的偏移量,消費積壓等等。這對于了解消息隊列消費的速度以及消息隊列消息寫入的速度非常的有用。可以幫助我們調試Kafka生產者和消費者,也可以對Kafka系統的整體運作情況有一個宏觀的認識。

支持的Kafka版本:0.8.2.x,0.9.x,0.10.x,0.11.x,1.x,2.x

支持的系統:Mac OS X,Linux,Windows

JDK: JDK8+

自從Kafka Eagle開源以來,也得到了迅速的發展,目前GitHub的Star已經突破1.5K

下面我們來了解一下Kafka Eagle的核心功能。

功能展示

大屏支持

炫酷的大屏展示,生產者消費者情況,消息積壓情況。

報警支持

自定義報警閾值,觸發報警

報警消息情況

除了支持email警報外,Kafka Eagle還支持即時消息警報,例如DingDing和WeChat。

消費者組列表和活動圖

消費者組的情況

主題列表明細

每個主題的具體情況

消費者與生產者圖表

特色功能

偏移量

Kafka的偏移量存儲位置發生過變化,這一直是監控的一大難題。

  • Kafka0.8.2之前的版本,偏移量存儲于Zookeeper中。
  • 0.10.0以后的Kafka版本默認建議在Kafka主題(__consumer_offsets)中。

這兩種Kafka Eagle都支持,Kafka Eagle支持多個偏移量存儲路徑。如果將它們存儲在Zookeeper和Kafka中,則可以像這樣配置它們。

# Set kafka cluster alias kafka.eagle.zk.cluster.alias=cluster1,cluster2# Set kafka cluster zookeeper address cluster1.zk.list=xdn1:2181,xdn2:2181,xdn3:2181 cluster2.zk.list=tdn1:2181,tdn2:2181,tdn3:2181# Set kafka cluster offset storage path cluster1.kafka.eagle.offset.storage=kafka cluster2.kafka.eagle.offset.storage=zookeeper

Kafka SQL

可以使用SQL語法查詢Kafka消息

select * from ke_p3_r2 where `partition` in (0,1,2) limit 10

總結

以上是生活随笔為你收集整理的kafka不使用自带zk_Kafka监控必备——Kafka-Eagle 2.0.2正式发布的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。