Question

我有一个包含时间戳和计数器列的数据框。时间戳以1分钟的间隔分开。计数器指示在时间戳上发生的事件数。在每个时间戳记下，我想计算接下来的十分钟内的事件数。因此，在时间戳记2018年1月3日00:00:00，事件数为3。

我创建了一个函数，将数据帧的每一行传递给该函数，它在接下来的10分钟内重新运行事件数。我得到了正确的答案，但是运行时非常长，我想以更快的方式执行此操作，因为我打算在大型数据集上运行它。我认为可以通过有效使用groupby和transform来快速实现这一目标，但我不确定该怎么做。任何帮助，将不胜感激。谢谢！

a = pd.DataFrame()
a['timestamp'] = pd.date_range('2018-01-03 00:00:00', '2018-01-03 00:20:00', freq='01min').to_list()
a['counter'] = 0
a['counter'][5] = 2
a['counter'][7]= 1
a['counter'][16] = 3

数据框如下：

           timestamp    counter
0   2018-01-03 00:00:00 0
1   2018-01-03 00:01:00 0
2   2018-01-03 00:02:00 0
3   2018-01-03 00:03:00 0
4   2018-01-03 00:04:00 0
5   2018-01-03 00:05:00 2
6   2018-01-03 00:06:00 0
7   2018-01-03 00:07:00 1
8   2018-01-03 00:08:00 0
9   2018-01-03 00:09:00 0
10  2018-01-03 00:10:00 0
11  2018-01-03 00:11:00 0
12  2018-01-03 00:12:00 0
13  2018-01-03 00:13:00 0
14  2018-01-03 00:14:00 0
15  2018-01-03 00:15:00 0
16  2018-01-03 00:16:00 3
17  2018-01-03 00:17:00 0
18  2018-01-03 00:18:00 0
19  2018-01-03 00:19:00 0
20  2018-01-03 00:20:00 0

我将以下函数应用于df的每一行，以计算接下来10分钟内的事件数

def count_events(a, time_diff):
    temp_df = a[(a['timestamp'] > time_diff)& (a['timestamp'] <=(time_diff + pd.Timedelta(minutes=10)))]
    events = sum(temp_df['counter'])
    return events


for i in range(len(a)):
    a['no_of_events'][i] = count_events(a, a['timestamp'][i])

输出为（这是正确的输出）：

      timestamp     counter no_of_events
0   2018-01-03 00:00:00 0   3
1   2018-01-03 00:01:00 0   3
2   2018-01-03 00:02:00 0   3
3   2018-01-03 00:03:00 0   3
4   2018-01-03 00:04:00 0   3
5   2018-01-03 00:05:00 2   1
6   2018-01-03 00:06:00 0   4
7   2018-01-03 00:07:00 1   3
8   2018-01-03 00:08:00 0   3
9   2018-01-03 00:09:00 0   3
10  2018-01-03 00:10:00 0   3
11  2018-01-03 00:11:00 0   3
12  2018-01-03 00:12:00 0   3
13  2018-01-03 00:13:00 0   3
14  2018-01-03 00:14:00 0   3
15  2018-01-03 00:15:00 0   3
16  2018-01-03 00:16:00 3   0
17  2018-01-03 00:17:00 0   0
18  2018-01-03 00:18:00 0   0
19  2018-01-03 00:19:00 0   0
20  2018-01-03 00:20:00 0   0

Answer 1

正如人们在评论中所建议的那样，rolling是最好的方法。似乎您要从该行开始向前滚动，但是rolling会向后滚动。您可以使用.iloc[::-1]解决此问题，即反转数据框的行，并在滚动操作之后再次使用它以正确的顺序放回它们。

b = a.iloc[::-1].rolling(10, on='timestamp', min_periods=1).sum().iloc[::-1]

b是：

             timestamp  counter
0  2018-01-03 00:00:00      3.0
1  2018-01-03 00:01:00      3.0
2  2018-01-03 00:02:00      3.0
3  2018-01-03 00:03:00      3.0
4  2018-01-03 00:04:00      3.0
5  2018-01-03 00:05:00      3.0
6  2018-01-03 00:06:00      1.0
7  2018-01-03 00:07:00      4.0
8  2018-01-03 00:08:00      3.0
9  2018-01-03 00:09:00      3.0
10 2018-01-03 00:10:00      3.0
11 2018-01-03 00:11:00      3.0
12 2018-01-03 00:12:00      3.0
13 2018-01-03 00:13:00      3.0
14 2018-01-03 00:14:00      3.0
15 2018-01-03 00:15:00      3.0
16 2018-01-03 00:16:00      3.0
17 2018-01-03 00:17:00      0.0
18 2018-01-03 00:18:00      0.0
19 2018-01-03 00:19:00      0.0
20 2018-01-03 00:20:00      0.0

编辑

要排除当前时间戳，可以使用shift将计数器列移动1个位置。只要做：

a['counter'] = a['counter'].shift(-1)

在使用rolling之前。

基于时间戳间隔的求和频率

1 个答案:

编辑