对生产者/经纪人拥有大量消费者的影响

时间:2019-10-21 10:27:27

标签: apache-kafka kafka-consumer-api kafka-producer-api

我想了解,生产者延迟和中间商有大量消费者。我有大约7K的独立消费者。每个使用者都在使用一个主题的所有分区。我已将主题的分区手动分配给使用者,而不使用使用者组。每个消费者仅消耗一个主题的味精。邮件大小小于KB。产品吞吐量也很低。但是,当产生峰值时,就会产生等待时间(此处ack = 1)。经纪人资源也很低。我想了解对卡夫卡拥有大量消费者的影响。

集群详细信息:

Broker#: 13 (1 Broker : 14 cores & 36GB memory  )
Kafka cluster version: 2.0.0
Kafka Java client version: 2.0.0
Number topics: ~15. 
Number of consumers: 7K (all independent and manually assigned all partitions of a topic to a consumers. One consumer is consuming all partitions from a topic only) 

0 个答案:

没有答案