如何获取Flink中所有并行性的指标?

时间:2019-03-06 06:34:22

标签: apache-flink flink-streaming

在flink Web UI中,我可以获取每个并行度的指标,

对于并行度0,它喜欢:

0_filter_numberOfRecords in 

对于并行度9,它喜欢:

9_filter_numberOfRecords in 

如何获得所有并行性的相同指标?

1 个答案:

答案 0 :(得分:1)

您可以通过直接查询Flink的其余端点来获取汇总指标。您需要以下信息:

  1. 职位ID jobId,用于标识您要查询的操作员所属的职位
  2. 顶点ID vertexId标识要从中检索指标的运算符

可以通过查询jobId获得http://flink_cluster:port/jobs

可以通过查询vertexId来获得http://flink_cluster:port/jobs/:jobId,该http://flink_cluster:port/jobs/:jobId/vertices/:vertexId/subtasks/metrics?get=filter.numberOfRecords为您提供了工作信息(具有其顶点ID的运算符列表)。

获得所需的ID后,您可以将GET请求发送至:

:jobId

请用各自的ID替换:vertexIdsubtasks/metrics?get=filter.numberOfRecords&subtasks=0-1,4-5

如果您要汇总子任务子范围内的指标,则可以将请求更改为forEach,以指定要包括在汇总中的子任务。

相关问题