减少/汇总和替换带时间戳的记录

时间:2015-07-09 00:11:30

标签: sql sql-server refactoring-databases

我有一个SQL表,其中包含服务器性能数据的时间戳记。对于多个服务器,此数据每1分钟进行一次轮询和存储。我希望在很长一段时间内保留数据,但减少超过六个月的数据记录。

例如,我有一些旧的记录,如:

    Timestamp  Server  CPU  App1  App2
1   ... 00:01  Host1   5    1     10    
2   ... 00:01  Host2   10   5     20
3   ... 00:02  Host1   6    0     11
4   ... 00:02  Host2   11   5     20
5   ... 00:03  Host1   4    1     9
6   ... 00:04  Host2   9    6     19

我希望能够将这些数据从每分钟减少到每10分钟,或者可能每小时减少旧数据。

我最初的假设是,我会在10分钟的时间段内对值进行平均,并在删除旧记录后创建新的带时间戳的记录。我可以创建一个sql查询,为新的汇总记录生成插入语句吗?该查询会是什么样的?

或者有更好的方法来完成此摘要工作吗?

2 个答案:

答案 0 :(得分:1)

假设您有每分钟的记录,这就是您将记录分组10分钟的方法:

SELECT
    [Timestamp] = MIN([Timestamp]),
    [Server],
    CPU = AVG(CPU),
    App1 = AVG(App1),
    App2 = AVG(App2)
FROM (
    SELECT *,
        RN = (ROW_NUMBER() OVER(PARTITION BY [Server] ORDER BY [Timestamp]) - 1) / 10
    FROM temp
)t
GROUP BY [Server], RN

答案 1 :(得分:1)

您可能还需要考虑将汇总信息移动到另一个表中,这样您就不会想到您是在查看“原始”还是汇总数据。其他好处是你可以包括MAX,MIN,STDDEV和其他值以及AVG。

棘手的部分是时间。我能想到的最好的方法是从CONVERT(blah, Timestamp, 120)函数的输出开始:

-- Result: 2015-07-08 20:50:55
SELECT CONVERT(VARCHAR(19), CURRENT_TIMESTAMP, 120)

在一小时后或10分钟后切断它可以截断时间:

-- Hour; result is 2015-07-08 20
SELECT CONVERT(VARCHAR(13), CURRENT_TIMESTAMP, 120)

-- 10-minute point; result is 2015-07-08 20:50:5
SELECT CONVERT(VARCHAR(15), CURRENT_TIMESTAMP, 120)

通过多一点按摩,您可以填写其中任何一个的会议记录,并CAST将其重新填写为DATETIMEDATETIME2

-- Hour increment
CAST(CONVERT(VARCHAR(13), CURRENT_TIMESTAMP, 120) + ':00' AS DATETIME)

-- 10-minute increment
CAST(CONVERT(VARCHAR(15), CURRENT_TIMESTAMP, 120) + 0' AS DATETIME)

使用上面的逻辑,所有时间都被截断。换句话说,小时公式会将Timestamp转换为11:00 <= Timestamp < 12:00到11:00。分钟公式会将Timestamp转换为11:20 <= Timestamp < 11:30至11:20。

所以更好的部分查询看起来像这样(我已经省去了你刚刚总结的行):

-- The hour-increment version
INSERT INTO myTableOrOtherTable
SELECT
  CAST(CONVERT(VARCHAR(13), [Timestamp], 120) + ':00' AS DATETIME),
  AVG(CPU),
  AVG(App1),
  AVG(App2)
FROM myTable
GROUP BY
  CAST(CONVERT(VARCHAR(13), [Timestamp], 120) + ':00' AS DATETIME)