Question

我正在kafka流中processor node工作。对于一个简单的代码，我在下面写的只是为了过滤UserID，这是在kafka流中执行processor node的正确方法吗？

但是，下面的代码无法编译，会引发错误：The method filter(Predicate<? super Object,? super Object>) in the type KStream<Object,Object> is not applicable for the arguments (new Predicate<String,String>(){})

KStreamBuilder builder = new KStreamBuilder();

builder.stream(topic)
    .filter(new Predicate <String, String>() {
        //@Override
        public boolean test(String key, String value) {
            Hashtable<Object, Object> message;
            // put you processor logic here
            return message.get("UserID").equals("1");
        }
    })
    .to(streamouttopic);

    final KafkaStreams streams = new KafkaStreams(builder, props);
    final CountDownLatch latch = new CountDownLatch(1);

    // attach shutdown handler to catch control-c
    Runtime.getRuntime().addShutdownHook(new Thread("streams-shutdown-hook") {
    @Override
    public void run() {
       streams.close();
       latch.countDown();
    }
});

try {
    streams.start();
    latch.await();
} catch (Throwable e) {
    System.exit(1);
}
System.exit(0);

有人可以指导我吗？

Answer 1

builder.stream(topic)返回KStream<Object,Object>类型，因为您没有指定泛型类型。 <Object,Object>与<String,String>不兼容。

如果您知道，实际类型为KStream<String,String>，您可以按如下方式指定类型：

builder.<Sting,String>stream(topic)
       .filter(...)

回答关于“处理器节点”的问题：是的，添加filter()将在内部添加处理器节点。请注意，在DSL级别，您通常不需要考虑处理器。

如果要明确使用处理器，可以使用Processor API而不是DSL。查看WordCount示例：https://github.com/apache/kafka/blob/trunk/streams/examples/src/main/java/org/apache/kafka/streams/examples/wordcount/WordCountProcessorDemo.java

请注意，使用DSL，内部代码将被转换为处理器拓扑，这是Kafka Streams的运行时模型。

Answer 2

可能您正在使用其他程序包中的Predicate类。你需要使用

import org.apache.kafka.streams.kstream.Predicate;

kafka流中的处理器节点

2 个答案: