kafka消息消费原理演示
生活随笔
收集整理的這篇文章主要介紹了
kafka消息消费原理演示
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
在實際生產過程中,每個topic都會有多個partitions,多個partitions的好處在于,一方面能夠對broker上的數據進行分片有效減少了消息的容量從而提升io性能。另外一方面,為了提高消費端的消費能力,一般會通過多個consumer去消費同一個topic ,也就是消費端的負載均衡機制,也就是我們接下來要了解的,在多個partition以及多個consumer的情況下,消費者是如何消費消息的
同時,在上一節課,我們講了,kafka存在consumer group的概念,也就是group.id一樣的consumer,這些consumer屬于一個consumer group,組內的所有消費者協調在一起來消費訂閱主題的所有分區。當然每一個分區只能由同一個消費組內的consumer來消費,那么同一個onsumer
group里面的consumer是怎么去分配該消費哪個分區里的數據的呢?如下圖所示,3個分區,3個消費者,那么哪個消費者消分哪個分區?
對于上面這個圖來說,這3個消費者會分別消費test這個topic 的3個分區,也就是每個consumer消費一個partition。?
?
總結
以上是生活随笔為你收集整理的kafka消息消费原理演示的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 消息默认的分发机制
- 下一篇: consumer和partition的数