我可以让一个组的所有使用者都从kafka主题的所有分区中消费消息吗?

时间:2019-01-17 14:21:15

标签: apache-kafka kafka-consumer-api

让我们说在Kafka中,我有4个主题“ A”的分区,而我有20个“ AC”消费者组的消费者。我不需要任何排序,但是我想通过扩展使用者实例来更快地处理消息。请注意,所有消息都是独立的,可以独立处理。

我查看了使用者配置partition.assignment.strategy,但是不确定是否可以实现使用者对分区的动态分配,具体取决于消息的可用性。

1 个答案:

答案 0 :(得分:0)

将一个分区分配给该组中的一个使用者。在您的情况下,您只有20个工作中的4个消费者。如果要分配更多的使用者,则必须增加分区数。