将Kafka分区映射到Kafka Consumer / Consumer组

时间:2016-08-27 17:06:00

标签: apache-kafka kafka-consumer-api

我正在阅读Kafka常见问题解答,其中指定如下。

•每个分区不会被每个使用者组中的多个使用者线程/进程使用。这允许每个进程以单线程方式使用以保证在分区内对消费者进行排序(如果我们拆分有序消息的分区并将它们分发给多个消费者,即使消息是按照它们将被处理的顺序存储的有时无序)。

One Partition can be consumed by Multiple Consumers中的different consumer groups是否可能?

如果是,它如何管理重复的消息读取?

更新

实际上我想问一下,我有一个分区有10条消息,如果我有2个不同的消费者群体[group1,group2],消费者群组1是否可以读取前5条消息而消费者群组2读取另外5条消息?

1 个答案:

答案 0 :(得分:1)

不可能(至少没有设计)。拥有不同的消费者群体的目标正是能够为不同的目的处理相同的消息。