zookeeper kafka迁移后logstash消费不了Kafka消息
生活随笔
收集整理的這篇文章主要介紹了
zookeeper kafka迁移后logstash消费不了Kafka消息
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
zookeeper和kafka安裝在同3臺機器上,組成一個集群,對外提供服務
因為種種原因,需要將kafka和zookeeper?做整體遷移
首先?申請3臺機器部署好zookeeper服務,加到原來的集群中,方法見上篇Zookeeper遷移(擴容/縮容)
將kafka也加入到現有的集群中,將數據遷移到新的broker中
將老的3臺zookeeper?和kafka下線,發現kafka的就無法消費數據,logstash啟動報錯
解決方法
進入zookeeper?運行zkCli.sh?
運行ls?/brokers/topics?查看主題
然后運行?rmr?/brokers/topics/__consumer_offsets?
然后重啟kafka集群就好了
nohup bin/kafka-server-start.sh config/server.properties > /dev/null 2>&1 &
__consumer_offsets數據沒有遷移,所有偏移量還是連接老的borker,所以才會出現客戶端無法消費的現象
轉載于:https://blog.51cto.com/536410/2407568
總結
以上是生活随笔為你收集整理的zookeeper kafka迁移后logstash消费不了Kafka消息的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 当物联网系统出现故障:使用低质量物联网数
- 下一篇: c语言第九次作业