增加分区数

Question

我们正在开发Confluent平台，但我们仍然了解内部结构。但是我们已经实现了通用的用例。我们正在尝试优化集群

在我的用例中，我需要增加一个主题的分区数。有什么影响呢？可以分享一下

Answer 1

当然，您可以增加分区。

但是，

1. 增加分区不会移动现有数据。如果使用Confluent Enterprise，则可以使用confluent-rebalancer，否则可以使用kafka-reassign-partitions CLI工具。因此，您肯定要重新平衡主题以“优化”集群。
2. 在主题的保留期内（请参阅：对于现有数据），如果您以前有一个生产者将数据发送到分区N，现在又有N+1个分区，那么您将失去对那些仅存在于分区N中的消息。新消息可以分布在新生产者使用DefaultPartitioner计算的新分区上。如果您不发送带有消息的密钥，那么这不是问题。