在學(xué)習(xí)之前，已經(jīng)假設(shè)已經(jīng)成功搭建了Kafka集群，開始下面的學(xué)習(xí)：

1. 理論學(xué)習(xí)

• broker：生產(chǎn)環(huán)境中，一臺(tái)服務(wù)器上只會(huì)安裝一個(gè) Kafka 軟件，這臺(tái)服務(wù)器就是一個(gè) Kafka Server，此時(shí) Kafka Server 稱為 broker；在我們的實(shí)驗(yàn)環(huán)境中，一個(gè)一臺(tái)服務(wù)器上安裝了三個(gè) broker。
• topic：發(fā)布到 Kafka 集群上的消息都屬于某一個(gè)主題，這個(gè)主題稱為 topic，topic 存儲(chǔ)在 broker 中;

• partion：一個(gè) topic 包括多個(gè) partition(分區(qū))，每個(gè) partition 可以有多個(gè) replica(副本); producer 發(fā)送的消息存儲(chǔ)在 partition 中。

• producer: producer 是用來產(chǎn)生消息的，負(fù)責(zé)將消息發(fā)送到 Kafka broker 的 topic 上;

• consumer: consumer 是用來消費(fèi)消息的，用于從 Kafka broker 上的 topic 中讀取消息;
• broker 和 consumer 使用 Zookeeper 管理狀態(tài)信息

2. 創(chuàng)建Topic參數(shù)介紹

在上一節(jié)中，我們使用如下命令創(chuàng)建了一個(gè) topic：

./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic myFirstTopic

上述命令詳細(xì)解釋如下:

kafka-topics.sh：Kafka 提供的一個(gè) shell 腳本文件(位于 bin 目錄中)，用于創(chuàng)建或查看 topic 信息。

–create：shell 腳本的參數(shù)，告訴 shell 腳本：要?jiǎng)?chuàng)建一個(gè) topic。

–zookeeper localhost:2181：shell 腳本的參數(shù)，告訴 shell 腳本 Zookeeper 的地址，用于保存 topic 元數(shù)據(jù)信息。

–partitions 1：shell 腳本參數(shù)，告訴 shell 腳本：所創(chuàng)建的這個(gè) topic 的 partition 個(gè)數(shù)為1

–replication-factor 1：shell腳本參數(shù)，告訴 shell 腳本：每個(gè) partition 的副本數(shù)為1

–topic myFirstTopic：shell 腳本參數(shù)，告訴 shell 腳本：創(chuàng)建的 topic 的名稱為 myFirstTopic。

3. 查看 topic 的 partition 數(shù)量和副本數(shù)量

#切換到 /opt/kafka/bin 目錄。如果當(dāng)前目錄就是bin目錄，則不需要運(yùn)行此命令。 cd /opt/kafka/bin #運(yùn)行查看topic信息的shell腳本 ./kafka-topics.sh --zookeeper localhost:2181 --describe --topic myFirstTopic

• 結(jié)果的第一行：topic 信息概述：Topic 名稱為 myFirstTopic，partition 數(shù)量為1，副本數(shù)為1，這個(gè) partition 的詳細(xì)配置信息見下面三行。

• 緊接每一行描述了一個(gè) partition 的信息，后面的 leader、replicas和ISR 涉及到 kafka 內(nèi)核結(jié)構(gòu)，后續(xù)單獨(dú)開辟實(shí)驗(yàn)詳細(xì)講解，此時(shí)你只需要知道，這些參數(shù)保證了 kafka 集群的健壯性，保證消息不丟失，保證消息的高吞吐量。

4. 查看 Zookeeper 上的元數(shù)據(jù)信息

#切換到 Kafka bin 目錄，查看 Zookeeper 上元數(shù)據(jù)信息的命令在這個(gè)目錄下 cd /opt/kafka/bin #運(yùn)行zookeeper shell命令,進(jìn)入Zookeeper shell命令模式 ./zookeeper-shell.sh localhost:2181

接著運(yùn)行命令：

ls /

從結(jié)果可以看出 cluster、brokers和consumers 等節(jié)點(diǎn)，其中存儲(chǔ)了 Kafka 相關(guān)的元數(shù)據(jù)信息,接下來可以去自行查看這些元數(shù)據(jù)信息。

總結(jié)

以上是生活随笔為你收集整理的Kafka学习 之 理解Kafka集群（二）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。