我想从Python应用程序中监视我的Kafka集群中的使用者组（基于Kafka的组而不是ZK）（我愿意使用Kafka-python库和融合的Kafka客户端）。目的是根据每个消费者组的滞后时间启动更多（或删除一些）消费者。
融合的Kafka管理API似乎没有Python选项可以执行此操作。挖洞似乎是一个选择。但这将是设置和监视的一项额外服务。
也欢迎任何其他方法。我正在寻找这样做的最佳实践。
谢谢！
答案 0 :(得分：2)
如果您的Kafka客户和经纪人足够现代，则可以通过监视__consumer-offsets主题，定义一定程度的滞后阈值来实现此目标，从而使您扩大消费群体。对于AdminClient而言，这超出了范围，因为它与您在应用程序层上启动的使用者数量有关，并且实际上与代理操作没有任何关系。
我还将确保您的Kafka主题have enough partitions能够灵活地扩展您的消费群体。