Kafaka面向數據流的生成轉換消費的流處理平臺

?

Kafaka基本概念

Producer：消息和數據的生產者，向Kafka的一個topic發布消息的進程/代碼/服務

Consumer：消息和數據的消費者，訂閱數據Topic并且處理其發布消息的進程/代碼/服務

?

Consumer Group：邏輯概念，對于同一個topic，會廣播給不同的group，一個group中，只有一個sonsumer可以消費該消息

?

?

Kafka基本概念

Broker：物理概念，Kafka集群中每個Kafka結點。

Topic：邏輯概念，Kafka消息類別，對數據進行分區、隔離

Partition：物理概念，Kafka下數據存儲的基本單元。一個Topic數據，會分散存儲到多個Partitoin，每一個Partition是有序的。

Replication：同一個Partition可能會有多個Replica，多個Replica之間的數據是一樣的。

Replication Leader：一個Partition的多個Replica上，需要一個Leader負責該Partition上與Producer和Consumer交互。

ReplicaManager：負責管理當前broker所有分區和副本的信息，處理KafkaController發起的一些請求，副本狀態的切換、添加/讀取消息等。

?

?

Partition：

? ? ·每一個Topic被切分為多個Partitions

? ? ·消費者數目少于或等于Partition的數目

? ? ·Broker Group中每一個Broker保存Topic的一個或多個Partitions

? ? ·Consumer Group中的僅有一個Consumer讀取Topic的一個或多個Partitions，并且是唯一的Consumer

?

Replication：

? ? ·當集群中有Broker掛掉的情況，系統可以主動使Replicas提供服務

? ? ·系統默認設置一個Topic的replication系數為1，可以在創建Topic時單獨設置

?

?

Replication的特點

? ? ·Replication的基本單位是Topic的Partition

? ? ·所有的讀和寫都從Leader進，Followers值是作為備份

? ? ·Follower必須能夠即使復制Leader的數據

? ? ·增加容錯性與擴展性

?

Kafka消息結構

Kafaka面向數據流的生成轉換消費的流處理平臺

?

Kafaka基本概念

Producer：消息和數據的生產者，向Kafka的一個topic發布消息的進程/代碼/服務

Consumer：消息和數據的消費者，訂閱數據Topic并且處理其發布消息的進程/代碼/服務

?

Consumer Group：邏輯概念，對于同一個topic，會廣播給不同的group，一個group中，只有一個sonsumer可以消費該消息

?

?

Kafka基本概念

Broker：物理概念，Kafka集群中每個Kafka結點。

Topic：邏輯概念，Kafka消息類別，對數據進行分區、隔離

Partition：物理概念，Kafka下數據存儲的基本單元。一個Topic數據，會分散存儲到多個Partitoin，每一個Partition是有序的。

Replication：同一個Partition可能會有多個Replica，多個Replica之間的數據是一樣的。

Replication Leader：一個Partition的多個Replica上，需要一個Leader負責該Partition上與Producer和Consumer交互。

ReplicaManager：負責管理當前broker所有分區和副本的信息，處理KafkaController發起的一些請求，副本狀態的切換、添加/讀取消息等。

?

?

Partition：

? ? ·每一個Topic被切分為多個Partitions

? ? ·消費者數目少于或等于Partition的數目

? ? ·Broker Group中每一個Broker保存Topic的一個或多個Partitions

? ? ·Consumer Group中的僅有一個Consumer讀取Topic的一個或多個Partitions，并且是唯一的Consumer

?

Replication：

? ? ·當集群中有Broker掛掉的情況，系統可以主動使Replicas提供服務

? ? ·系統默認設置一個Topic的replication系數為1，可以在創建Topic時單獨設置

?

?

Replication的特點

? ? ·Replication的基本單位是Topic的Partition

? ? ·所有的讀和寫都從Leader進，Followers值是作為備份

? ? ·Follower必須能夠即使復制Leader的數據

? ? ·增加容錯性與擴展性

?

Kafka消息結構

CRC32判斷消息是否完整，校驗位

Magic，判斷是不是kafka的消息，如果不是，那就不需要進行分析了，這里如果要偽造，這個地方是關鍵。大部分的MQ都有這個

在kafka的文件中是存中是存中zookeeper的，如果不用搭建集群，是可以直接使用的。

解壓后：

tar -zxvf kafka_2..12-2.0.0.tgz

先啟動zookeeper

./zookeeper-server-start.sh ../config/zookeeper.properties

然后就可以直接啟動

./kafa-server-start.sh ../config/server.properties

?

創建一個topic

./kafka-topic.sh --create --zookeeper localhost:2181 --replication-facotr 1 --partitions 3 --topic HelloWorld

topic查看命令

./kafka-topic.sh --create --zookeeper localhost:2181 --replication-facotr 1 --partitions 3 --topic HelloWorld

啟動一個生產者生成東西

./kafka-console-producer.sh --broker-list localhost:9092 --topic HelloWorld

啟動一個消費者消費東西

./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic HelloWorld --from-beginning

下面是聯合

生產者：

消費者：

總結

以上是生活随笔為你收集整理的Kafka笔记-搭建及单机生产者、消费者操作的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。