获取Kafka使用情况详细信息

时间:2019-02-12 14:49:17

标签: apache-kafka monitoring kafka-consumer-api kafka-producer-api

我正在尝试找到获取我的kafka集群当前使用情况统计信息的方法。我希望收集以下信息:

  1. kafka集群中的主题数
  2. 每个kafka代理的分区数
  3. 活跃的消费者和生产者的数量
  4. 每个kafka代理的客户端连接数
  5. 每个分区上的消息数,磁盘大小等
  6. 复制品滞后,消费者滞后等。
  7. 活跃的消费群体

可以并且应该收集的任何其他统计信息,目前我正在收集上述统计信息。

我可以使用Zookeeper实用程序获得1和2,但是我迷失了休息。我已经在Jconsole中查看了mbean,但上面没有发现任何内容。我还尝试了JmxTool使用基于正则表达式的表达式来获取这些mbean,但这还是行不通的。

我正在使用Kafka v2.1并使用新的消费者api,因此zookeeper没有关于消费者的任何信息。

任何指针都会有很大帮助!

1 个答案:

答案 0 :(得分:0)

也可以使用https://github.com/yahoo/kafka-managerhttps://github.com/linkedin/cruise-control来获取此信息。

$ KAFKA_HOME / bin下有一些脚本可以帮助您。

  

kafka集群中的主题数

./ kafka-topics.sh --zookeeper本地主机:2181-列表

  

每个kafka代理的分区数

./ kafka-topics.sh --zookeeper本地主机:2181-描述

  

每个分区上的消息数,磁盘大小等

./ kafka-log-dirs.sh --describe --bootstrap-server localhost:9092

  

复制品滞后,消费者滞后等。

./ kafka-consumer-group.sh --bootstrap-server localhost:9092 --group $ GROUP_NAME --describe

  

活跃的消费群体   活跃的消费者和生产者数量

您无法成为活跃的制作人。 Know existing producers for a kafka topic

./ kafka-consumer-group.sh --bootstrap-server localhost:9092 --list

  

每个kafka代理的客户端连接数

./