卡夫卡经纪人在经纪人宕机后不平衡分区

时间:2021-06-07 09:09:36

标签: apache-kafka

我们有一个 3-broker 3-zookeeper 集群,我们已经关闭了一个 broker。我们总共有 180 个分区,每个主题有 2 个副本。当一个节点被关闭时,复制分区下有 75 个,它保持这种状态,看起来没有任何事情发生。当我启动我取下的代理时,分区很快被它拾取并且工作正常。

机器相当大(30gb ram,快速磁盘),每个代理上的所有数据都是 10gb,所以我不知道为什么它不会快速将分区从一个节点移动到一个仍然存在的节点up,好像它不知道节点被删除了。

有什么建议吗?节点宕机后如何监控恢复过程?

Kafka 版本 - 2.6.0

1 个答案:

答案 0 :(得分:0)

这是设计使然,在您首先使用 kafka-reassign-partitions

手动将分区移出代理之前,不会将数据移出代理

同样,如果您尝试从集群中完全删除节点,则需要执行此操作,这实际上与使其崩溃且永不返回的行为相同