如何吸引Kafka消费者订阅新分区

Question

我有几个Kafka使用者订阅了一个主题，需要添加一些分区。我正在暂存环境中玩耍并添加一些新分区。我对Kafka的理解是，它们应该自动重新平衡并订阅新分区。除非他们不这样做，重新启动没有帮助。每次我完成此操作（现在两次）之后，消费者都会在一夜之间神奇地订阅新分区。

如果我在控制台中创建一个新的测试组，则它可以很好地订阅新分区。但是，使用控制台中的现有组ID可以重新平衡工作线程，但不包括新分区。

为什么在创建分区时不订阅？一夜之间发生的事情使他们开始看到新的分区？

Answer 1

默认情况下，客户端（消费者和生产者）每5分钟刷新一次元数据。这由metadata.max.age.ms确定。

在您的示例中，使用者只有在刷新其元数据时才能找到新分区。因此，您需要将此设置设置为较低的值，或者稍等片刻。