Question

我正试图从一堆数据点创建一个窗口存储，但是由于某种原因，似乎未对该流拓扑分支进行评估。

我使用相同的流将实体化的KTable填充到商店中，并且效果很好。

我正在使用具有以下配置的Spring Cloud Streams：

spring:
  application.name: stream-test

  kafka.bootstrap-servers: localhost:9092

  cloud.stream:
    # assign group and topic name to binding
    bindings:
      windowedStream:
        destination: myTopic
        group: stream-test-window
    kafka:
      # configure kafka binder
      binder:
        brokers: ${spring.kafka.bootstrap-servers}
        configuration.auto.offset.reset: latest
      # kafka-streams specific binding configuration
      streams.bindings.windowedStream.consumer:
        keySerde: org.apache.kafka.common.serialization.Serdes$StringSerde
        valueSerde: kstreamstest.StreamSerdes$DataItemSerde

DataItemSerde只是扩展的JSON-Serde（也适用于KTable）。

@Data class DataItem {
    String value;
}

public class StreamSerdes {
    public static final Serde<DataItem> DATA_ITEM_SERDE = new DataItemSerde();
    public static class DataItemSerde extends JsonSerde<DataItem> {}
}

具有约束力

interface WindowedTableBinding {
    String WINDOW_STREAM = "windowedStream";

    @Input(WINDOW_STREAM)
    KStream<String, DataItem> stream();
}

我这样创建一个流侦听器

@Configuration
@EnableBinding(WindowedTableBinding.class)
class StreamToWindowed {
    String storeName = "wvs";

    @Bean
    String windowedStoreName() {
        return storeName;
    }

    @StreamListener(WindowedTableBinding.WINDOW_STREAM)
    public void windowStream(@Input(WindowedTableBinding.WINDOW_STREAM) KStream<String, DataItem> stream) {
        stream.peek((k, v)  -> System.out.printf("%s: %s%n", k, v))
                .groupByKey()
                .windowedBy(TimeWindows.of(5_000))
                .reduce((d1, d2) -> d2,
                    Materialized
                        .<String, DataItem, WindowStore<Bytes, byte[]>>as("wvs")
                        .withKeySerde(Serdes.String())
                        .withValueSerde(StreamSerdes.DATA_ITEM_SERDE));
    }
}

但是，当我随后查询商店时

Set<String> getWindowedKeys() {
    ReadOnlyWindowStore<String, DataItem> queryableStore = queryService
            .getQueryableStore(windowedStoreName, QueryableStoreTypes.windowStore());
    Set<String> result = new HashSet<>();
    if (queryableStore != null) { // store is not null though
        try (KeyValueIterator<Windowed<String>, DataItem> values = queryableStore.all()) {
            values.forEachRemaining(kvs -> result.add(kvs.key.key()));
        }
    }
    return result;
}

那个集合总是空的（当然，在我发送数据之后）。 System.out.print语句也不会被触发，因此我猜想该分支根本不会被评估。

同样，我为相同的值并行建立一个KTable，并且可以很好地填充。我可以删除它，而窗口版本仍然无法使用。

我确实看到了this example，但是我看到的唯一区别是它将数据写回到了输出流中，这是我不想做的。另外，如果我添加它也无济于事。

我也尝试过

@KafkaStreamsStateStore(name="wvs", type= KafkaStreamsStateStoreProperties.StoreType.WINDOW, lengthMs=5_000)
public void windowStream(@Input(WindowedTableBinding.WINDOW_STREAM) KStream<String, DataItem> stream) {}

但这没什么区别。

我该怎么做才能填充该窗口数据存储？

Answer 1

与我通常使用Spring一样，这原来是一个配置问题。

我需要为两个绑定分别给出application-id：

spring.cloud.stream.kafka.streams.bindings:
    tableStream.consumer:
        application-id: table-generator
    windowedStream.consumer:
        application-id: windows-generator

窗口式商店未满（Spring Cloud Stream Kafka）

1 个答案: