Kafka消費storm，突然有兩個分區(qū)無法消費數(shù)據(jù)(或重復(fù)消費無法提交offset)

offset是我們自己進(jìn)行管理，kafka日志也是正常沒有報錯，storm日志也是沒有報錯~ 就是卡住了

1.嘗試將partition為0,1的offset記錄刪除，重新跑一遍，結(jié)果還是到那個offset處卡住

2.再次嘗試手動修改offset跳過卡住的那一條數(shù)據(jù)(這種做法會丟失一條數(shù)據(jù),在數(shù)據(jù)不允許丟失或無法重新恢復(fù)的情況下不可使用)

set /stormoffset/xxx/partition_0 {"topology":{"id":"topology-name-28-1547535229","name":"topology-name"},"offset":417958889,"partition":0,"broker":{"host":"xxx","port":9092},"topic":"test_data"}

?重啟storm程序，記住要kill掉再次啟動才會生效，Deactivate/Activate無法生效

總結(jié)

以上是生活随笔為你收集整理的Storm消费Kafka异常 - topic其中两个分区达到某个值不进行消费，持续阻塞的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。