go应用程序写kafka阻塞(大坑)
生活随笔
收集整理的這篇文章主要介紹了
go应用程序写kafka阻塞(大坑)
小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
由于是大數(shù)據(jù),打日志相對(duì)麻煩,使用玄坤大法,選點(diǎn)打日志,才把這個(gè)bug糾出來(lái)。
使用庫(kù):sarama
addrs := strings.Split(config.Kafka.RealBroker, ",") kafkaConfig := sarama.NewConfig() kafkaConfig.Producer.Timeout = 3 kafkaConfig.Producer.Return.Errors = false //設(shè)置成false,防止失敗過(guò)多,沒(méi)有消費(fèi)導(dǎo)致阻塞,而且不是必現(xiàn),極難排查 kafkaConfig.Producer.Return.Successes = false kafkaConfig.Producer.MaxMessageBytes = 50 * 1024 * 1024 producer, err := sarama.NewAsyncProducer(addrs, kafkaConfig) if err != nil {log.Println("new async producer err: ", err)_,file,line,_ := runtime.Caller(0)dingding.PushMessage(fmt.Sprintf("new async producer err:%v file:%s line:%d",err,file,line))return err } conn.KafkaProducer = producer如果kafkaConfig.Producer.Return.Errors和kafkaConfig.Producer.Return.Successes設(shè)置為true,則一定要有相應(yīng)的消費(fèi)channel的代碼,否則可能發(fā)生消息阻塞。
總結(jié)
以上是生活随笔為你收集整理的go应用程序写kafka阻塞(大坑)的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: kafka版本 不对问题
- 下一篇: Kafka配置offsets.reten