从jmx获取kafka日志结束偏移量

时间:2017-04-04 21:28:09

标签: apache-kafka

我正在尝试构建一个实时监控解决方案,该解决方案将覆盖n个kafka集群。我要做的一件事是使用内部kafka.log:type=Log,name=LogEndOffset主题和data_stream_out_ack mbean来计算延迟。

我很好奇的是,假设我的kafka集群中有5个代理,我是否需要从每个代理收集LogEndOffset并执行最大值以获取LogEndOffset,或者只需从一个就能获得它?

一个附带问题,如果我在LogEndOffset上做一分钟,那会给我带来高水位吗?

1 个答案:

答案 0 :(得分:0)

从JMX导出器中,您可以使用以下查询:

sum(max(kafka_log_logendoffset{topic="your_topic_name"}) by (topic,partition))