我们的产品设计了多个kafka主题，每个主题只有一组消费者。消费来自kafka的消息时，消费者应该对作业进行批处理以加快处理速度。 平台是AWS，框架是Java-Spring。
关于此的个人想法：
-部署 X 个使用者。 X = kafka中的分区数
-使用春季批处理对消耗的作业进行批处理
问题是：
每个kafka主题都有100个分区。
共有4个主题，每个主题有100个分区。
我们希望，可能是1个消费者从 Y 分区中消费。
因此，它导致（4 * 100 / Y ）服务实例正在运行。
现在我们甚至将 Y 设为10，我们仍然得到40个实例。
管理这么多服务的部署和编排似乎是要解决的大问题。
欢迎提供有关部署策略和业务流程的建议。
一个选项：
-让kafka处理动态分区。
-构建4个存储库和CI / CD管道，每个主题一个
-部署4个服务，实例数量为100 / Y
-[可选]每个实例都实现本地spring-batch