从普罗米修斯时间序列生成的图形在不同形状之间跳跃

Question

我使用Prometheus 2.0.0-beta.2和Grafana来查看格式为mytimeseries{attr="val"}的简单时间序列的图表。它的范围包括最后6个小时，每30秒更新一次。

目前发生的情况是图形的形状在不同形式之间跳转，以便后续刷新。周期。以下是其中一些形状：

这怎么可能发生？我怀疑这是因为时间序列在几个点上出现（例如在大约10:30时达到大约25 K）并且这些值在某些情况下包含在图表中但不包括其他可能由于Grafana转移显示的时间段在相对于到达普罗米修斯的新记录指标的“奇数”偏移处。

在任何情况下，这都会使输出难以阅读，并且当前图表几乎无法用于监控。我想知道这是否是一个更普遍的，也许是已知问题的实例，如果是这样，克服它的最佳方法是什么，以便相同的图形从右向左移动但不会出乎意料地改变其形状。

更新 This讨论似乎涉及一个类似的问题，提示类似的疑似原因。我的时间序列测量每秒接收的八位字节数（由操作系统工具报告），虽然我控制将其输入Prometheus的导出器，但我不清楚如何将其输入计数器（而不是计量器），所以建议的解决方案不适用。

Answer 1

这是一个锯齿问题。鉴于您只有一个衡量标准，我建议您使用avg_over_time或max_over_time来避免数据丢失。

我还建议查看节点导出器是否公开此指标，因为它将作为计数器。