Kafka Streams 0.9.1.0-cp1中单个主题消费的控制率？

Question

我正在尝试使用涉及连接的Kafka Streams应用程序对Kafka主题中的数据进行后处理。其中一个要连接的流在相应主题中每单位时间具有更大的数据量。我想控制各个主题的消费，以便在单个consumer.poll()中从每个主题获得大致相同的事件时间戳。但是，似乎没有任何方法可以控制支持源流的KafkaConsumer的行为。有没有办法解决？任何见解都将不胜感激。

Answer 1

目前，Kafka无法控制生产者和消费者的费率限制。

参见： https://cwiki.apache.org/confluence/display/KAFKA/KIP-13+-+Quotas

但是如果您使用Apache Spark作为流处理平台，则可以限制Kafka接收器的输入速率。