Kafka基本概念
- Broker : 和AMQP里協議的概念一樣, 就是消息中間件所在的服務器
- Topic(主題) : 每條發布到Kafka集群的消息都有一個類別,這個類別被稱為Topic。(物理上不同Topic的消息分開存儲,邏輯上一個Topic的消息雖然保存于一個或多個broker上但用戶只需指定消息的Topic即可生產或消費數據而不必關心數據存于何處)
- Partition(分區) : Partition是物理上的概念,體現在磁盤上面,每個Topic包含一個或多個Partition.
- Producer : 負責發布消息到Kafka broker
- Consumer : 消息消費者,向Kafka broker讀取消息的客戶端。
- Consumer Group(消費者群組) : 每個Consumer屬于一個特定的Consumer Group(可為每個Consumer指定group name,若不指定group name則屬于默認的group)。
- offset 偏移量: 是kafka用來確定消息是否被消費過的標識,在kafka內部體現就是一個遞增的數字
kafka消息發送的時候 ,考慮到性能 可以采用打包方式發送, 也就是說 傳統的消息是一條一條發送, 現在可以先把需要發送的消息緩存在客戶端, 等到達一定數值時, 再一起打包發送, 而且還可以對發送的數據進行壓縮處理,減少在數據傳輸時的開銷
?
超強干貨來襲 云風專訪:近40年碼齡,通宵達旦的技術人生總結