移除所有消费者后,Kafka消费者群体会怎样?

时间:2020-10-22 09:32:36

标签: spring spring-boot apache-kafka kafka-consumer-api spring-kafka

我有一个带有自动缩放器的服务,每个实例需要位于一个单独的使用者组中,我已经通过设置一个随机的使用者组名称group-id: my-service-${random.uuid}来实现了它。我想知道如果所有消费者都不见了,那消费者群体将会怎样。我在Confluent平台中注意到,我有许多消费群体,而没有任何消费者。

没有任何消费者的消费者群体可以存在多长时间?

例如,如何在删除服务后5分钟后配置要删除的使用者组(我希望删除的组不仅是偏移量已删除)?

1 个答案:

答案 0 :(得分:4)

在Kafka中,您具有经纪人级别的配置"Virtual IP address"

offsets.retention.minutes :当某个消费群体失去所有消费者(即变空)后,该偏移量将在此保留期内保留,直到被丢弃。对于独立使用者(使用手动分配),偏移量将在上次提交时间加上此保留期后过期。”

此配置默认为7天。在Broker Configurations概述中查看所有详细信息。

AdminClient中还有一个API,可用于删除特定的ConsumerGroup。我已经在另一个answer中用一些代码解释了此过程。

从Confluent 6.x开始,您还可以使用Confluent控制中心(使用REST API)轻松删除过时的ConsumerGroup。