Kafka-Python使用最后一条未读消息

时间:2018-07-19 07:55:15

标签: python apache-kafka kafka-consumer-api

我有两个微服务。

  1. MProducer-将消息发送到kafka队列
  2. MConsumer-从kafka队列中读取消息

当使用者崩溃并重新启动时,我想继续使用上一条消息。

Ws2_32.lib

2 个答案:

答案 0 :(得分:1)

您似乎正在使用kafka-python,因此需要将group_id参数传递给Consumer。请参见KafkaConsumer documentation中有关此参数的说明。

通过设置组ID,消费者将定期将其位置提交给Kafka,并在重新启动后自动检索。

答案 1 :(得分:0)

您可以通过建立消费者群体来实现。假设您正在使用融合库,则只需添加'group.id': 'your-group' 当服务关闭然后再启动时,它将从最后的提交点开始。

有关每个消费者组的信息保存在Kafka的一个特殊主题(从v0.9开始)中,名为__consumer_offsets。卡夫卡文档[https://kafka.apache.org/intro#intro_consumers]

中的更多信息
相关问题