Kafka Streams应用程序使用者偏移在重启后重置为最早

Question

我们有一个出现异常行为的Kafka Streams应用程序。当作业被终止并重新启动时，用户组会随机地将其偏移量重置为最早，并且所有旧记录都将得到重新处理。

有什么需要做的具体事情，而我们错过了吗？

Answer 1

好吧，您已经设置了"auto.offset.reset": "latest"，因此很明显不会应用该属性。

为保证至少一次处理语义并关闭自动提交，Kafka Streams将enable.auto.commit使用者配置值覆盖为false。消费者仅在Kafka Streams库或用户决定提交当前处理状态时，才通过commitSync调用显式提交

-docs

因此，似乎您尚未对任何流项目执行终端操作，以使其进行同步提交。