将kafka客户端从0.8.0升级到0.10.0.1时是否会丢失数据？

Question

我们计划将Kafka客户端从0.8.0升级到0.10.0.1但是在消费者中，0.8.0版本的偏移量存储在zookeeper中，因为它存储在版本0.10.0.1的代理中，如果我们启动消费者如果具有与0.10.0.1中的0.8.0版本相同的组和客户端ID，则新消费者将从旧消费者停止消费的位置获取消息。如果要发生数据丢失，我们可以尝试将偏移量从zookeeper迁移到代理，然后启动新的消费者

Answer 1

您可以继续在0.10的zookeeper中存储偏移量。实际上，如果您刚刚升级了客户端二进制文件，则不会看到偏移提交行为的任何更改。当您开始在应用程序中使用新的消费者API时，您必须开始考虑数据迁移和偏移。在这里，您需要根据旧API停止旧的应用程序实例，检查存储在zookeeper中的偏移量，然后从该偏移量开始新的消费者API实现，以及数据丢失或重复。