监控Kafka集群，生产商和消费者

Question

我是Kafka的新手，我有三个节点Kafka集群，有多个消费者和生产者。我想根据三个参数监控Kafka集群：

1.Topic wise monitoring - to get incoming rate of topic , lag in a topic, number of active consumers attached with the topic, number of partitions
2.Consumer based monitoring - the topic from which it is consuming,consumption speed. a number of messages consumed.
3.Message-Based Monitoring - topic name in which message is produced,and status of message i.e whether it's processed or pending.

我尝试了各种监控工具，如（KafkaOffsetMonitor，Burrow），但没有一个与我的用例匹配。所以有人可以建议如何设置这种监控系统吗？。有可用的API，我可以通过它来获得上述 - 提到的细节

Answer 1

您可以启动JConsole并监控整个Kafka群集，并配置JMX。有关详细信息，请参阅https://kafka.apache.org/documentation#monitoring。

Answer 2

我们使用两件事。

• 使用InfluxDB向jmxtrans报告JMX指标，并使用Grafana进行可视化。

• 使用Burrow进行消费者滞后监控，并使用Burrower

向InfluxDB报告

看看这个great blog about monitoring Kafka，大多数有关监控Kafka的工具和文章都在那里进行了总结。