尽管消费者并发性高于分区总数,但同一Kafka消费者实例正在从多个分区读取

时间:2020-03-04 14:57:24

标签: concurrency apache-kafka kafka-consumer-api spring-kafka spring-cloud-stream

我正在使用spring-cloud-stream,需要从Kafka Topic中并行读取。

主题具有16个分区,并且我已将使用者并发设置为16(每个实例16个。我在PCF上总共部署了2个使用者应用程序实例),并且还验证了消息在所有16个分区上都可以发送。

但是在使用者方面,我看到只有8个并发使用者正在运行(每个实例4个),因此每个使用者线程都从2个不同的分区读取。

为什么会这样?我预计每个分区共有16个消费者。我希望更多的并发性来提高吞吐量(如果总共有16个并发线程,这将使吞吐量增加一倍)

0 个答案:

没有答案