當(dāng)前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

Kafka 监控 Kafka Eagle 图形化版本

發(fā)布時(shí)間：2024/9/27 编程问答 23 豆豆

生活随笔收集整理的這篇文章主要介紹了 Kafka 监控 Kafka Eagle 图形化版本小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

文章目錄

一、Kafka Eagle 下載、編譯流程
- 1. Kafka Eagle下載
- 2. 解壓Kafka Eagle
- 3. 進(jìn)入解壓的目錄
- 4. 編譯項(xiàng)目
- 5. 添加編譯環(huán)境
- 6. 運(yùn)行腳本編譯項(xiàng)目
二、Kafka Eagle 正式配置流程
- 2.1. 進(jìn)入編譯獲得web目錄
- 2.2. 將編譯后的tar解壓到/app目錄
- 2.3. 在/app目錄下面查看
- 2.4. 配置文件總覽簡述
- 2.5. 配置文件修改
三、修改kafka配置
- 3.1. 修改 kafka 啟動(dòng)命令
- 3.2. 同步配置文件到ly-02 ly-03節(jié)點(diǎn)
- 3.3. 啟動(dòng)zk集群腳本
- 3.4. 啟動(dòng)kafka集群腳本
- 3.6. 啟動(dòng)kafka eagle
四、登錄web頁面
- 4.1. 瀏覽器訪問
- 4.2. 登錄
- 4.2. 登錄后頁面

一、Kafka Eagle 下載、編譯流程

1. Kafka Eagle下載

wget https://github.com/smartloli/kafka-eagle/archive/v1.4.3.tar.gz

2. 解壓Kafka Eagle

tar -zxf v1.4.3.tar.gz

3. 進(jìn)入解壓的目錄

cd kafka-eagle-1.4.3/

4. 編譯項(xiàng)目

前提：Centos7 安裝maven，如果沒有安裝，請(qǐng)點(diǎn)擊鏈接，先安裝maven。

5. 添加編譯環(huán)境

不添加會(huì)拋出以下錯(cuò)誤

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1:compile (default-compile) on project kafka-eagle-common: Compilation failure: Compilation failure: [ERROR] /usr/local/src/kafka/kafka-eagle/kafka-eagle-common/src/main/java/org/smartloli/kafka/eagle/common/util/KafkaZKPoolUtils.java:[44,84] diamond operator is not supported in -source 1.5 [ERROR] (use -source 7 or higher to enable diamond operator)

按照大神的說法，修改pom.xml文件，在最后一行之前添加以下內(nèi)容：

<build><plugins><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-compiler-plugin</artifactId><version>3.2</version><configuration><source>1.8</source><target>1.8</target></configuration></plugin></plugins></build>

6. 運(yùn)行腳本編譯項(xiàng)目

./build.sh

編譯后成功的截圖：

二、Kafka Eagle 正式配置流程

2.1. 進(jìn)入編譯獲得web目錄

cd /app/software/kafka-eagle-1.4.3/kafka-eagle-web/target

2.2. 將編譯后的tar解壓到/app目錄

tar -zxvf kafka-eagle-web-1.4.3-bin.tar.gz -C /app/

2.3. 在/app目錄下面查看

2.4. 配置文件總覽簡述

cd /app/kafka-eagle-web-1.4.3/conf vim system-config.properties ###################################### #設(shè)置Kafka多集群，這里只需要設(shè)置Zookeeper, # 系統(tǒng)會(huì)自動(dòng)識(shí)別Kafka Broker # multi zookeeper & kafka cluster list ###################################### kafka.eagle.zk.cluster.alias=cluster1 cluster1.zk.list=ly-01:2181,ly-02:2181,ly-03:2181###################################### #Zookeeper線程池最大連接數(shù) # zk client thread limit ###################################### kafka.zk.limit.size=25###################################### # Kafka Eagle的頁面訪問端口 # kafka eagle webui port ###################################### kafka.eagle.webui.port=8048###################################### # 存儲(chǔ)消費(fèi)信息的類型，一般在0.9版本之前，消費(fèi) # 信息會(huì)默認(rèn)存儲(chǔ)在Zookeeper中，所以存儲(chǔ)類型 # 設(shè)置zookeeper即可，如果是在0.10版本之后， # 消費(fèi)者信息默認(rèn)存儲(chǔ)在Kafka中，所以存儲(chǔ)類型 # 設(shè)置為kafka。而且，在使用消費(fèi)者API時(shí)，盡量 # 客戶端Kafka API版本和Kafka服務(wù)端的版本保持 # 一致性。 # kafka offset storage ###################################### cluster1.kafka.eagle.offset.storage=kafka###################################### # 開啟性能監(jiān)控，數(shù)據(jù)默認(rèn)保留30天 # kafka metrics, 30 days by default ###################################### kafka.eagle.metrics.charts=true kafka.eagle.metrics.retain=30###################################### # KSQL查詢Topic數(shù)據(jù)默認(rèn)是最新的5000條，如果 # 在使用KSQL查詢的過程中出現(xiàn)異常，可以將下面 # 的false屬性修改為true，Kafka Eagle會(huì)在 # 系統(tǒng)中自動(dòng)修復(fù)錯(cuò)誤。 # kafka sql topic records max ###################################### kafka.eagle.sql.topic.records.max=5000 kafka.eagle.sql.fix.error=false###################################### # delete kafka topic token ###################################### # 刪除Kafka Topic時(shí)需要輸入刪除密鑰，由 # 管理員執(zhí)行 ###################################### kafka.eagle.topic.token=keadmin ###################################### # 開啟Kafka ACL特性，例如SCRAM或者PLAIN， # 一般生產(chǎn)環(huán)境會(huì)使用SCRAM來做ACL，應(yīng)為SCRAM # 可以動(dòng)態(tài)創(chuàng)建和管理用戶。 # kafka sasl authenticate ###################################### cluster1.kafka.eagle.sasl.enable=false cluster1.kafka.eagle.sasl.protocol=SASL_PLAINTEXT cluster1.kafka.eagle.sasl.mechanism=SCRAM-SHA-256 cluster1.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="kafka" password="kafka-eagle"; cluster1.kafka.eagle.sasl.client.id= cluster1.kafka.eagle.sasl.cgroup.enable=false cluster1.kafka.eagle.sasl.cgroup.topics=cluster2.kafka.eagle.sasl.enable=false cluster2.kafka.eagle.sasl.protocol=SASL_PLAINTEXT cluster2.kafka.eagle.sasl.mechanism=PLAIN cluster2.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="kafka" password="kafka-eagle"; cluster2.kafka.eagle.sasl.client.id= cluster2.kafka.eagle.sasl.cgroup.enable=false cluster2.kafka.eagle.sasl.cgroup.topics=###################################### # 存儲(chǔ)Kafka Eagle元數(shù)據(jù)信息的數(shù)據(jù)庫，目前支持 # MySQL和Sqlite，默認(rèn)使用Sqlite進(jìn)行存儲(chǔ) # kafka sqlite jdbc driver address ###################################### #kafka.eagle.driver=org.sqlite.JDBC #kafka.eagle.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.db #kafka.eagle.username=root #kafka.eagle.password=www.kafka-eagle.org###################################### # 存儲(chǔ)Kafka Eagle元數(shù)據(jù)信息的數(shù)據(jù)庫，目前支持 # MySQL和Sqlite，默認(rèn)使用Sqlite進(jìn)行存儲(chǔ) # kafka mysql jdbc driver address ###################################### kafka.eagle.driver=com.mysql.jdbc.Driver kafka.eagle.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull kafka.eagle.username=root kafka.eagle.password=root

2.5. 配置文件修改

cd /app/kafka-eagle-web-1.4.3/conf vim system-config.properties

第1處第4行
配置zk集群信息

kafka.eagle.zk.cluster.alias=cluster1 cluster1.zk.list=ly-01:2181,ly-02:2181,ly-03:2181

修改第2處第20行
配置zk集群信息

cluster1.kafka.eagle.offset.storage=kafka

修改第3處第30行
開啟儀表盤顯示

kafka.eagle.metrics.charts=true

修改第4處注釋第67行至70行
關(guān)閉默認(rèn)使用Sqlite進(jìn)行存儲(chǔ)
開啟存儲(chǔ)Kafka Eagle元數(shù)據(jù)信息的MySQL數(shù)據(jù)庫，

kafka.eagle.driver=com.mysql.jdbc.Driver kafka.eagle.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroD ateTimeBehavior=convertToNull kafka.eagle.username=root kafka.eagle.password=root

三、修改kafka配置

3.1. 修改 kafka 啟動(dòng)命令

修改 kafka-server-start.sh 命令中

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" fi

為

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 - XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70" export JMX_PORT="9999" #export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" fi

注意：修改之后在啟動(dòng) Kafka 之前要分發(fā)或者同步到其他2個(gè)節(jié)點(diǎn)

3.2. 同步配置文件到ly-02 ly-03節(jié)點(diǎn)

scp /app/kafka/bin/kafka-server-start.sh root@ly-02:/app/kafka/bin scp /app/kafka/bin/kafka-server-start.sh root@ly-03:/app/kafka/bin

3.3. 啟動(dòng)zk集群腳本

./zkmanage.sh start

腳本內(nèi)容：

#!/bin/bash for host in ly-01 ly-02 ly-03 do echo "${host}:$1ing....." ssh $host "source /etc/profile;/app/zookeeper-3.5.7/bin/zkServer.sh $1" donesleep 2 for host in ly-01 ly-02 ly-03 do ssh $host "source /etc/profile;/app/zookeeper-3.5.7/bin/zkServer.sh status" done

附上：zk停止命令

./zkmanage.sh stop

3.4. 啟動(dòng)kafka集群腳本

./kk-start.sh

kafka啟動(dòng)腳本內(nèi)容：

#!/bin/bash for host in ly-01 ly-02 ly-03 do echo "${host}:$1 kafka starting....." ssh $host "source /etc/profile;/app/kafka/bin/kafka-server-start.sh -daemon /app/kafka/config/server.properties" done

kafka 關(guān)閉集群腳本內(nèi)容：

#!/bin/bash for host in ly-01 ly-02 ly-03 do echo "${host}:$1 kafka stopping....." ssh $host "source /etc/profile;/app/kafka/bin/kafka-server-stop.sh /app/kafka/config/server.properties" done

3.6. 啟動(dòng)kafka eagle

cd /app/kafka-eagle-web-1.4.3/bin ./ke.sh start

注：低版本號(hào)好像需要賦予權(quán)限

chmod u+x ke.sh

運(yùn)行腳本后截圖

四、登錄web頁面

4.1. 瀏覽器訪問

http://192.168.43.32:8048/ke
賬號(hào)/密碼:admin/123456

4.2. 登錄

4.2. 登錄后頁面

總結(jié)

以上是生活随笔為你收集整理的Kafka 监控 Kafka Eagle 图形化版本的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。

上一篇： IntelliJ IDEA 单行注释调整
下一篇：工作流实战_18_flowable 流程