Kafka Stream仅消耗N条消息

时间:2018-08-08 15:57:44

标签: apache-kafka apache-kafka-streams

上下文:

我们正在使用Kafka Stream编写应用程序。通常,我们将消息从一个主题转换为另一个主题(不使用join)。

为了在将输出结果传递到目标主题之前先潜入输出结果,我们希望调整调试模式,该模式仅允许我们消耗来自源主题的一定数量的消息(约1000条)。并且,Kafka流之后的消息应分为Stdout或文件而不是目标主题。因此,不会向Kafka发出任何消息,我们可以大致了解结果数据的样子。

问题:

  1. 是否可以让Kafka流仅消耗源主题中的n条消息并关闭流?
  2. 我认为KafkaConsumerInterceptor是依靠消息的一种选择。但是,我不知道当达到一定数量时是否有办法关闭Kafka流。
  3. 另一个可能的想法是对创建的Kafka Stream拓扑进行一些更改。例如,在拓扑中创建一个新的源节点,该节点只能读取主题X中从偏移量A到偏移量B的消息,以便我们可以手动设置。

我想知道哪种方法可行或是否还有其他更好的解决方案。谢谢!

0 个答案:

没有答案