卡夫卡：跟踪生产者的抵消情况

Question

我正在使用Apache Kafka （没有汇合）并且有一个简单的Kafka生产者从休息API中提取，将数据发送到Kafka并关闭。 我在开发消费者时进行了测试。

在消费者中我可以跟踪偏移量，但我似乎无法在我的制作人中设置自定义偏移量。

在我的休息电话中，我需要跟踪日期，以便我不会一直提取相同的数据。我被迫存储了＃34;最后一个时间戳＆＃34;我自己还是错过了什么？

Answer 1

我认为在您的场景中，您对生产者方面的“Kafka”偏移（当您写入Kafka时）不感兴趣，而是对从REST API中提取的最新数据进行“偏移”跟踪，这样您就对了必须自己做。 在Kafka生产者方面，您可以知道分配给最新发送消息的偏移量（在RecordMetadata内），但是当您从REST API中提取数据时，它与最新时间戳无关。