org.apache.kafka.common.errors.NotLeaderForPartitionException:此服务器不是该主题分区的领导者

时间:2017-11-27 06:34:06

标签: apache-kafka kafka-producer-api

我们在2节点集群中运行Kafka(vesion kafka_2.11-0.10.1.0)。 我们有2个生产者(Java API)代理不同的主题。每个主题都有单个分区。 我们遇到此问题的主题是有一个消费者正在运行。 这个设置运行良好3个月,我们看到了这个问题。其他论坛中针对此问题的所有建议案例/解决方案似乎都不适用于我的方案。

生产者的例外;

  

-2017-11-25T17:40:33,035 [kafka-producer-network-thread | producer-1] ERROR client.producer.BingLogProducerCallback - 遇到异常   发送消息; > org.apache.kafka.common.errors.NotLeaderForPartitionException:这个   服务器不是该主题分区的领导者。

我们尚未启用邮件重试,因为这是交易数据,我们希望维持订单。

制片人配置:

bootstrap.servers : server1ip:9092
acks :all
retries : 0
linger.ms :0
buffer.memory :10240000
max.request.size :1024000
key.serializer : org.apache.kafka.common.serialization.StringSerializer
value.serializer : org.apache.kafka.common.serialization.StringSerializer

我们正在生产者和消费者处连接到server1。 server2上的控制器日志表明在同一时间发生了一些关机,但我不明白为什么会这样。

  

[2017-11-25 17:31:44,776] DEBUG [Controller 2]:主题不在   首选副本Map()(kafka.controller.KafkaController)[2017-11-25   17:31:44,776] TRACE [控制器2]:经纪人的领导者不平衡比率   2是0.000000(kafka.controller.KafkaController)[2017-11-25   17:31:44,776] DEBUG [控制器2]:不在首选副本中的主题   地图()(kafka.controller.KafkaController)[2017-11-25 17:31:44,776]   TRACE [控制器2]:经纪人1的领导者不平衡比率为0.000000   (kafka.controller.KafkaController)[2017-11-25 17:34:18,314]信息   [SessionExpirationListener on 2],ZK已过期;关闭所有控制器   组件并尝试重新选举   (kafka.controller.KafkaController $ SessionExpirationListener)   [2017-11-25 17:34:18,317] DEBUG [控制器2]:控制员辞职,   经纪人ID 2(kafka.controller.KafkaController)[2017-11-25   17:34:18,317]调试[控制器2]:取消注册   IsrChangeNotificationListener(kafka.controller.KafkaController)   [2017-11-25 17:34:18,317] INFO [delete-topics-thread-2],关闭   (kafka.controller.TopicDeletionManager $ DeleteTopicsThread)[2017-11-25   17:34:18,317] INFO [delete-topics-thread-2],已停止   (kafka.controller.TopicDeletionManager $ DeleteTopicsThread)[2017-11-25   17:34:18,318] INFO [delete-topics-thread-2],关闭完成   (kafka.controller.TopicDeletionManager $ DeleteTopicsThread)[2017-11-25   17:34:18,318] INFO [控制器2上的分区状态机]:停止   分区状态机(kafka.controller.PartitionStateMachine)   [2017-11-25 17:34:18,318] INFO [控制器上的副本状态机   2]:停止复制状态机   (kafka.controller.ReplicaStateMachine)[2017-11-25 17:34:18,318] INFO   [Controller-2-broker-2-send-thread],关闭   (kafka.controller.RequestSendThread)[2017-11-25 17:34:18,318]信息   [Controller-2-broker-2-send-thread],已停止   (kafka.controller.RequestSendThread)[2017-11-25 17:34:18,319]信息   [Controller-2-broker-2-send-thread],关闭完成   (kafka.controller.RequestSendThread)[2017-11-25 17:34:18,319]信息   [Controller-2-broker-1-send-thread],关闭   (kafka.controller.RequestSendThread)[2017-11-25 17:34:18,319]信息   [Controller-2-broker-1-send-thread],已停止   (kafka.controller.RequestSendThread)[2017-11-25 17:34:18,319]信息   [Controller-2-broker-1-send-thread],关闭完成   (kafka.controller.RequestSendThread)[2017-11-25 17:34:18,319]信息   [控制器2]:经纪人2辞去控制权   (kafka.controller.KafkaController)[2017-11-25 17:34:18,353] DEBUG   [IsrChangeNotificationListener]被解雇!!!   (kafka.controller.IsrChangeNotificationListener)[2017-11-25   17:34:18,353] DEBUG [IsrChangeNotificationListener]被解雇!!!   (kafka.controller.IsrChangeNotificationListener)[2017-11-25   17:34:18,354] INFO [Controller 2上的BrokerChangeListener]:Broker   为孩子1,2的路径/经纪人/ ids触发改变监听器   (kafka.controller.ReplicaStateMachine $ BrokerChangeListener)   [2017-11-25 17:34:18,355] DEBUG [DeleteTopicsListener on 2]:删除   为要删除的主题触发主题监听器   (kafka.controller.PartitionStateMachine $ DeleteTopicsListener)   [2017-11-25 17:34:18,362] INFO [AddPartitionsListener on 2]:分区   修改触发{"版本":1,"分区":{" 0":[1]}}用于路径   /经纪人/主题/ ESQ   (kafka.controller.PartitionStateMachine $ PartitionModificationsListener)   [2017-11-25 17:34:18,368] INFO [AddPartitionsListener on 2]:分区   修改触发{"版本":1,"分区":{" 0":[1]}}用于路径   /经纪人/主题/ Test1的   (kafka.controller.PartitionStateMachine $ PartitionModificationsListener)   [2017-11-25 17:34:18,369] INFO [AddPartitionsListener on 2]:分区   修改触发{"版本":1,"分区":{" 0":[2]}}用于路径   /经纪人/主题/ ImageQ   (kafka.controller.PartitionStateMachine $ PartitionModificationsListener)   [2017-11-25 17:34:18,374] INFO [AddPartitionsListener on 2]:分区   修改触发   {"版本":1,"隔板" {" 8":[1,2]," 4":〔1,2 ]" 9":[2,1]," 5":[2,1]," 6":[1,2],&#34 1":[2,1]," 0":[1,2]," 2":[1,2]," 7" :[2,1]," 3":[2,1]}}   路径/经纪人/主题/ NMS_NotifyQ   (kafka.controller.PartitionStateMachine $ PartitionModificationsListener)   [2017-11-25 17:34:18,375] INFO [AddPartitionsListener on 2]:分区   修改触发{"版本":1,"分区":{" 0":[1]}}用于路径   / brokers / topics / TempBinLogReqQ @

0 个答案:

没有答案
相关问题