示例数据

Question

我一直在查看我正在处理的Java应用程序的很多Kafka文档。我已经尝试进入Java 8中引入的lambda语法，但是我在这方面有点粗略，并且不觉得它应该是我现在使用的那个。

我有一个Kafka / Zookeeper服务运行没有任何麻烦，我想要做的是编写一个小的示例程序，基于输入将写出来，但不做一个wordcount，因为有这么多的例子已经

对于样本数据，我将得到一串以下结构：

示例数据

This a sample string containing some keywords such as GPS, GEO and maybe a little bit of ACC.

问题

我希望能够提取3个字母的关键字并使用System.out.println进行打印。如何获取包含输入的字符串变量？我知道如何应用正则表达式，甚至只是搜索字符串来获取关键字。

代码

public static void main(String[] args) {
    Properties props = new Properties();
    props.put(StreamsConfig.APPLICATION_ID_CONFIG, "app_id");
    props.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, "0:0:0:0:0:0:0:1:9092");
    props.put(StreamsConfig.ZOOKEEPER_CONNECT_CONFIG, "0:0:0:0:0:0:0:1:2181");
    props.put(StreamsConfig.KEY_SERDE_CLASS_CONFIG, Serdes.String().getClass().getName());
    props.put(StreamsConfig.VALUE_SERDE_CLASS_CONFIG, Serdes.String().getClass().getName());

    final Serde<String> stringSerde = Serdes.String();

    KStreamBuilder builder = new KStreamBuilder();

    KStream<String, String> source = builder.stream(stringSerde, stringSerde, "in-stream");

    KafkaStreams streams = new KafkaStreams(builder, props);
    streams.start();

    //How do I assign the input from in-stream to the following variable?
    String variable = ?
}

我有动物园管理员，kafka，生产者和消费者运行所有连接到同一主题所以我想基本上看到所有实例（生产者，消费者和流）上出现相同的String。

Answer 1

如果您使用Kafka Streams，则需要在数据流上应用函数/运算符。在您的情况下，您创建了一个KStream对象，因此，您希望将运算符应用于source。

根据您的目的，有些运算符可以独立地为流中的每个记录应用一个函数（例如map()），或者将函数应用于多个记录的其他运算符（例如。{ {1}}）。您应该查看文档：{{3}}和示例http://docs.confluent.io/3.0.0/streams/developer-guide.html#kafka-streams-dsl

因此，您从未使用Kafka Streams创建局部变量（如上图所示），而是将所有内容嵌入到链接在一起的运算符/函数中。

例如，如果要将所有输入记录打印到stdout，可以执行

aggregateByKey()

因此，在您通过KStream<String, String> source = builder.stream(stringSerde, stringSerde, "in-stream"); source.foreach(new ForeachAction<String, String>() { void apply(String key, String value) { System.out.println(key + ": " + value); } });启动应用程序后，它将使用您输入主题的记录消费者，并且对于您主题的每个记录，都会调用streams.start()来打印记录。标准输出。

当然，将流打印到控制台的更原生的方法是使用apply(...)（内部基本上与显示的source.print()运算符相同，且已经给定foreach() }。）

对于将字符串分配给局部变量的示例，您需要将代码放入ForeachAction并执行正则表达式等等，以“提取3个字母的关键字”。

表达此信息的最佳方式是apply(...)和flatMapValues()（即print()）的组合。为每个输入记录调用source.flatMapValues(...).print()（在您的情况下，我假设密钥为flatMapValues()，因此您可以忽略它）。在null函数中，您应用正则表达式，并且对于每个匹配，您将匹配添加到最终返回的值列表中。

flatMapValue

source.flatMapValues(new ValueMapper<String, Iterable<String>>() { @Override public Iterable<String> apply(String value) { ArrayList<String> keywords = new ArrayList<String>(); // apply regex to value and for each match add it to keywords return keywords; } }的输出将再次为flatMapValues，其中包含每个找到的关键字的记录（即，输出流是您在KStream返回的所有列表上的“联合” ）。最后，您只需通过ValueMapper#apply()将结果打印到控制台即可。（当然，您也可以使用单个print()代替foreach + flatMapValue，但这样会更少模块化。）

打印Kafka Stream输入到控制台？

示例数据

问题

代码

1 个答案: