使用Kafka Stream Processor API进行用户主题管理

时间:2017-10-26 10:38:33

标签: apache-kafka apache-kafka-streams

我刚开始用卡夫卡沾上我的手。我经历过this。它只说kafka流DSL的数据/主题管理。任何人都可以为kafka流的处理器API共享任何相同类型的数据管理链接吗?我对Processor API的用户和内部主题管理特别感兴趣。

TopologyBuilder builder = new TopologyBuilder();

// add the source processor node that takes Kafka topic "source-topic" as input
builder.addSource("Source", "source-topic")

在流处理器开始使用输入数据之前从哪里填充此源主题?

简而言之,我们可以写信给kafka" Source"使用流的主题,如生产者写入主题?或者仅用于并行消费主题的流? 我相信我们应该像Kafka的Streams API一样建立在Kafka的制作人和消费者客户之上#34;

2 个答案:

答案 0 :(得分:0)

您可以使用JXL(Java Excel API)编写从excel文件写入kafka主题的生产者。 然后创建一个kafka流应用程序来使用该主题并生成另一个主题。 您可以使用context.getTopic()来获取处理器正在接收的主题。 然后设置多个if语句以在process()函数内调用该主题的过程逻辑。

答案 1 :(得分:0)

是的,您必须使用KafkaProducer为为KStream提供信息的源主题生成输入。

但是,可以通过

填充中间主题
  • KafkaStreams#to
  • KafkaStreams#through