記錄一次部署測試

部署程序版本選擇
kafka 2.7.1
eagle 2.0.6

選擇2.7.1是因為kafka在2.7之后的java的SDK中提供了操作scram賬號的方法。我們可以將此集成到業(yè)務(wù)系統(tǒng)中對topic的讀寫對賬戶的授權(quán)管理。

Kafka搭建

我們將kafka部署到3個服務(wù)節(jié)點，例如192.168.40.1/192.168.40.2/192.168.40.3
第1步
? ? ? ? 下載kafka安裝包，地址https://www.apache.org/dyn/closer.cgi?path=/kafka/2.7.1/kafka_2.12-2.7.1.tgz
第2步
? ? ? ? 登陸第一個服務(wù)器節(jié)點，將安裝包放到/data目錄
第3步
? ? ? ? 解壓安裝包，tar -xzvf kafka_2.12-2.7.1.tgz
第4步
? ? ? ? 編輯zookeeper配置文件，vim /data/kafka_2.12-2.7.1/config/zookeeper.properties，編輯內(nèi)容如下

dataDir=/data/zookeeper server.1=192.168.40.1:2888:3888 server.2=192.168.40.2:2888:3888 server.3=192.168.40.3:2888:3888authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider authProvider.2=org.apache.zookeeper.server.auth.SASLAuthenticationProvider authProvider.3=org.apache.zookeeper.server.auth.SASLAuthenticationProvider requireClientAuthScheme=sasl jaasLoginRenew=3600000 initLimit=10 syncLimit=5

? ? ? ?server.1/2/3代表著三個節(jié)點
第5步
? ? ? ? 創(chuàng)建文件夾/data/zookeeper
第6步
? ? ? ? 生成myid文件，echo 1 >/data/zookeeper/myid，1是指第一個節(jié)點
第7步
? ? ? ? 編輯kafka的配置文件，vim /data/kafka_2.12-2.7.1/config/server.properties，編輯內(nèi)容如下

broker.id=1 listeners=SASL_PLAINTEXT://192.168.40.1:9092 log.dirs=/data/kafka-logs num.partitions=3 zookeeper.connect=192.168.40.1:2181,192.168.40.2:2181,192.168.40.3:2181sasl.mechanism.inter.broker.protocol=SCRAM-SHA-256 sasl.enabled.mechanisms=SCRAM-SHA-256 security.inter.broker.protocol=SASL_PLAINTEXTallow.everyone.if.no.acl.found=false super.users=User:admin authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer

?broker.id=1就是代表著第一個節(jié)點
第8步
? ? ? ? 創(chuàng)建jaas.conf文件，vim /data/kafka_2.12-2.7.1/config/kafka_server_jaas.conf，內(nèi)容如下

KafkaServer{org.apache.kafka.common.security.scram.ScramLoginModule requiredusername="admin"password="admin@2021"; }; Server {org.apache.zookeeper.server.auth.DigestLoginModule requireduser_super="super@2021"user_kafka="kafka@2021"; };Client {org.apache.zookeeper.server.auth.DigestLoginModule requiredusername="kafka"password="kafka@2021"; };

第9步
? ? ? ? 編輯kafka-run-class.sh腳本中的KAFKA_OPTS，vim /data/kafka_2.12-2.7.1/bin/kafka-run-class.sh，修改內(nèi)容如下

# Generic jvm settings you want to add if [ -z "$KAFKA_OPTS" ]; thenKAFKA_OPTS="-Djava.security.auth.login.config=/data/kafka_2.12-2.7.1/config/kafka_server_jaas.conf" fi

第10步
? ? ? ? 啟動zookeeper，/data/kafka_2.12-2.7.1/bin/zookeeper-server-start.sh -daemon ?/data/kafka_2.12-2.7.1/config/zookeeper.properties，并查看日志是否正常啟動，tail -f /data/kafka_2.12-2.7.1/logs/zookeeper.out
第11步
? ? ? ? 啟動kafka，/data/kafka_2.12-2.7.1/bin/kafka-server-start.sh -daemon /data/kafka_2.12-2.7.1/config/server.properties，，并查看日志是否正常啟動，tail -f /data/kafka_2.12-2.7.1/logs/server.log
第12步
? ? ? ? 重復(fù)第3步到第12步，部署安裝另外兩個節(jié)點，其中需要修改的就是/data/zookeeper/myid文件值，和/data/kafka_2.12-2.7.1/config/server.properties中的broker.id值
第13步
? ? ? ? 創(chuàng)建scram賬號，/data/kafka_2.12-2.7.1/bin/kafka-configs.sh --zookeeper localhost:2181 --alter --add-config 'SCRAM-SHA-256=[password=admin@2021],SCRAM-SHA-512=[password=admin@2021]' --entity-type users --entity-name admin

至此kafka三節(jié)點搭建完成

如果想用java的SDK控制賬號權(quán)限，可參考一下文章
https://blog.csdn.net/Smallc0de/article/details/119296739
https://blog.csdn.net/Smallc0de/article/details/113866633

Kafka-eagle搭建

第1步
? ? ? ? 去官網(wǎng)下載安裝包，https://www.kafka-eagle.org/
第2步
? ? ? ? 將安裝包上傳到服務(wù)器節(jié)點，并放到/data目錄下
第3步
? ? ? ? 解壓安裝包，tar -xvf kafka-eagle-web-2.0.6-bin.tar.gz
第4步
? ? ? ? 修改配置文件，vim /data/kafka-eagle-bin-2.0.6/kafka-eagle-web-2.0.6/conf/system-config.properties，編輯內(nèi)容如下

kafka.eagle.zk.cluster.alias=cluster1 cluster1.zk.list=192.168.40.1:2181,192.168.40.2:2181,192.168.40.3:2181cluster1.kafka.eagle.sasl.enable=true cluster1.kafka.eagle.sasl.protocol=SASL_PLAINTEXT cluster1.kafka.eagle.sasl.mechanism=SCRAM-SHA-256 cluster1.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule req uired username="admin" password="admin@2021";kafka.eagle.driver=org.sqlite.JDBC kafka.eagle.url=jdbc:sqlite:/data/kafka-eagle-bin-2.0.6/kafka-eagle-web-2.0.6/db/ke.db kafka.eagle.username=root kafka.eagle.password=www.kafka-eagle.org

第5步
? ? ? ? 啟動eagle，/data/kafka-eagle-bin-2.0.6/kafka-eagle-web-2.0.6/bin/ke.sh start
第6步
? ? ? ? 在瀏覽器中打開地址http://192.168.40.1:8048/，默認(rèn)用戶名密碼為admin/123456，登陸后可以看到kafka集群狀態(tài)詳情，如下

?

總結(jié)

以上是生活随笔為你收集整理的Kafka+Scram认证+eagle管理的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。