kafka broker重启后重新消费消息

Question

我用了 ./kafka-consumer-groups.sh --new-consumer --bootstrap-server 10.10.3.80:9092 --describe --group message-center-consumer-1 我发现当前的偏移是337

当我们重新启动kafka broker时，消费者将重新消耗238偏移的消息 为什么当前的偏差是337，而我通过kafka经纪人重启获得了238补偿？ 我使用kafka auto commit为true（默认值），自动提交间隔ms为5000（默认值）

我使用kafka broker是0.11.0和spring-kafka 1.1.6和springboot 1.5.7

我的github问题是https://github.com/spring-projects/spring-kafka/issues/435

我的问题就像 (Solved) Kafka 0.11.0.0 keeps reseting offset on restart

但我不知道如何解决

Answer 1

  

我使用kafka auto commit为true（默认值），自动提交间隔ms为5000（默认值）

这就是问题 - 抵消仅每5秒钟提交一次。

通常最好将其设置为false并让容器管理提交（AckMode.Record以进行最小重新处理，但最大开销AckMode.BATCH将在收到的每批记录后提交经纪人 - 减少开销但增加再加工的可能性。）