node-rdkafka:处理立即暂停的新消费者组的消费者抵消

时间:2018-09-06 18:04:13

标签: node.js apache-kafka kafka-consumer-api

我一直在纠缠消费者暂停/恢复功能。对于新的消费群体,我遇到了一个问题,在消费任何条目之前,我会立即暂停。

当我立即暂停新消费者组的消费者并开始生成条目时,通常会在分区上看到LAG计数器递增。但是,由于这是一个新的消费群体,我猜它不知道其CURRENT-OFFSET,所以它也不知道如何跟踪LAG

请注意,我使用$ bin/kafka-consumer-groups.sh --describe检查每个消费者组的偏移量和滞后时间。

对于较早的消费者组,其中的消费者已经处理了一些条目,分区将更新CURRENT-OFFSET,因此我可以看到LAG的数量随着消费者产生更多条目而增加暂停或按下。

我正在使用默认的auto.offset.reset“最新”,并希望避免使用“最早”,因为我不想一开始就为新的消费群体消费。


在暂停/恢复这一主题上还有一个附带的问题,这可能与node-rdkafka库和rdkafka库有关。 为组的使用者恢复主题分区时,我一直在尝试仅传递主题名称和分区号(无偏移)。但是,即使没有引发任何错误,我的履历表也似乎不起作用。我想知道这是否与没有发送偏移量有关吗?

我认为这是一种奇怪的行为,因为我认为resume可以恢复给定分区的使用者,使其不再使用该分区,而消耗任何应计的LAG

0 个答案:

没有答案