問題描述：

使用spark streaming接受kafka數據（使用direct方式）報錯

Couldn't find leader offsets for Set([test,0], [test,1], [test,3])

?

?

Exception in thread "main" org.apache.spark.SparkException: java.nio.channels.ClosedChannelException

java.nio.channels.ClosedChannelException

org.apache.spark.SparkException: Couldn't find leader offsets for Set([test,0], [test,1], [test,3])

??????? at org.apache.spark.streaming.kafka.KafkaCluster$$anonfun$checkErrors$1.apply(KafkaCluster.scala:366)

??????? at org.apache.spark.streaming.kafka.KafkaCluster$$anonfun$checkErrors$1.apply(KafkaCluster.scala:366)

??????? at scala.util.Either.fold(Either.scala:97)

??????? at org.apache.spark.streaming.kafka.KafkaCluster$.checkErrors(KafkaCluster.scala:365)

??????? at org.apache.spark.streaming.kafka.KafkaUtils$.getFromOffsets(KafkaUtils.scala:222)

??????? at org.apache.spark.streaming.kafka.KafkaUtils$.createDirectStream(KafkaUtils.scala:484)

??????? at Apps.KafkaStreaming$.main(KafkaStreaming.scala:52)

??????? at Apps.KafkaStreaming.main(KafkaStreaming.scala)

??????? at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

??????? at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)

??????? at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)

??????? at java.lang.reflect.Method.invoke(Method.java:606)

??????? at com.intellij.rt.execution.application.AppMain.main(AppMain.java:144)

解決辦法：

嘗試方法1. 因為我有3個broker 所以嘗試更改 num.partitions=3 ?在創建一個新的 topic 仍舊不可以

嘗試方法2.將本機host中維護服務器ip hostname，以及服務器中保證/etc/hosts下ip hostname關系? 仍舊不可以

?

1.???? 停止kafka、zookeeper服務

2.???? 刪除zookeeper、kafka?? 配置的logs下文件

3.???? 啟動zookeeper、kafka服務

4.???? 創建新的topic

[hduser@BDTEST05 bin]$ ./kafka-console-producer.sh --broker-list? BDTEST05:9092 --topic test1

問題解決

注意 此處剛剛創建萬的topic 如果立即跑程序? 會報 是否存在這個topic 一定要topic里有內容了 才可以執行成功

轉載于:https://www.cnblogs.com/OS-BigData/p/8527348.html

超強干貨來襲 云風專訪：近40年碼齡，通宵達旦的技術人生

總結

以上是生活随笔為你收集整理的spark streaming kafka Couldn't find leader的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。