在 Kafka 中無論是 producer 往 topic 中寫數(shù)據(jù), 還是 consumer 從 topic 中讀數(shù)據(jù), 都避免不了和 offset 打交道, 關(guān)于 offset 主要有以下幾個概念。

Last Committed Offset：consumer group 最新一次 commit 的 offset，表示這個 group 已經(jīng)把 Last Committed Offset 之前的數(shù)據(jù)都消費成功了。Current Position：consumer group 當(dāng)前消費數(shù)據(jù)的 offset，也就是說，Last Committed Offset 到 Current Position 之間的數(shù)據(jù)已經(jīng)拉取成功，可能正在處理，但是還未 commit。Log End Offset(LEO)：記錄底層日志 (log) 中的下一條消息的 offset。, 對 producer 來說，就是即將插入下一條消息的 offset。High Watermark(HW)：已經(jīng)成功備份到其他 replicas 中的最新一條數(shù)據(jù)的 offset，也就是說 Log End Offset 與 High Watermark 之間的數(shù)據(jù)已經(jīng)寫入到該 partition 的 leader 中，但是還未完全備份到其他的 replicas 中，consumer 是無法消費這部分消息 (未提交消息)。

每個 Kafka 副本對象都有兩個重要的屬性：LEO 和 HW。注意是所有的副本，而不只是 leader 副本。關(guān)于這兩者更詳細解釋，建議參考這篇文章。

對于消費者而言，異步模式下 committed offset 是落后于 current position 的。如果 consumer 掛掉了, 那么下一次消費數(shù)據(jù)又只會從 committed offset 的位置拉取數(shù)據(jù)，就會導(dǎo)致數(shù)據(jù)被重復(fù)消費。

總結(jié)

以上是生活随笔為你收集整理的kafka中的offset概念的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。