Kafka:来自SyncGroup的错误,请求超时

时间:2016-09-21 19:31:03

标签: apache-kafka kafka-consumer-api

最近,我们经常使用Java Kafka API遇到“来自SyncGroup的错误:请求超时”。

此问题通常发生在Kafka群集中的主题或消费者群体中。有没有人可以提供有关此错误的一些指示? 作为一种解决方法,如果我更改了使用者组名称,我看不到错误。 经纪人版本:0.9.0 Kafka客户端版本:0.9.0.1

Exception in thread "main" org.apache.kafka.common.KafkaException: Unexpected error from SyncGroup: The request timed out.

at org.apache.kafka.clients.consumer.internals.AbstractCoordinator$SyncGroupRequestHandler.handle(AbstractCoordinator.java:444)

at org.apache.kafka.clients.consumer.internals.AbstractCoordinator$SyncGroupRequestHandler.handle(AbstractCoordinator.java:411)

at org.apache.kafka.clients.consumer.internals.AbstractCoordinator$CoordinatorResponseHandler.onSuccess(AbstractCoordinator.java:665)

at org.apache.kafka.clients.consumer.internals.AbstractCoordinator$CoordinatorResponseHandler.onSuccess(AbstractCoordinator.java:644)

at org.apache.kafka.clients.consumer.internals.RequestFuture$1.onSuccess(RequestFuture.java:167)

at org.apache.kafka.clients.consumer.internals.RequestFuture.fireSuccess(RequestFuture.java:133)

at org.apache.kafka.clients.consumer.internals.RequestFuture.complete(RequestFuture.java:107)

at org.apache.kafka.clients.consumer.internals.ConsumerNetworkClient$RequestFutureCompletionHandler.onComplete(ConsumerNetworkClient.java:380)

at org.apache.kafka.clients.NetworkClient.poll(NetworkClient.java:274)

1 个答案:

答案 0 :(得分:1)

@ zer0Id0l

我们最近遇到了同样的问题。之所以会发生这种情况,是因为某些Kafka Streams消息的元信息占用空间不仅仅是常规消息(当您不使用Kafka Streams时)。要解决此问题,请转到 __ consumer_offsets 主题设置,并将 max.message.bytes 参数设置为高于默认值。例如,在我们的例子中,我们有 max.message.bytes = 20971520 。这将彻底解决您的问题。