用二维窗口计算滚动函数的最快方法是什么?

时间:2019-01-05 03:24:01

标签: python pandas numpy dataframe numpy-ndarray

我有一个二维的熊猫数据框。我想计算沿轴1的滚动标准偏差,同时还要在上下两行中包含数据点。

所以说我有这个df:

data = {'A': [1, 2, 3, 4],
 'B': [5, 6, 7, 8],
 'C': [9, 10, 11, 12]}
df = pd.DataFrame(data)
print(df)  

   A  B   C
0  1  5   9
1  2  6  10
2  3  7  11
3  4  8  12

我想要一个高3行,宽2列,从左到右移动的矩形窗口。因此,例如

std_df.loc[1, 'C'] 

将等于

np.std([1, 5, 9, 2, 6, 10, 3, 7, 11])

但是不知道如何在没有非常慢的迭代的情况下实现这一目标

1 个答案:

答案 0 :(得分:0)

看起来你想要的是pd.shift

import pandas as pd
import numpy as np

data = {'A': [1,2,3,4], 'B': [5,6,7,8], 'C': [9,10,11,12]}
df = pd.DataFrame(data)

print(df)
   A  B   C
0  1  5   9
1  2  6  10
2  3  7  11
3  4  8  12

将您提供的数据框移动1会产生上面的行

print(df.shift(1))
     A    B     C
0  NaN  NaN   NaN
1  1.0  5.0   9.0
2  2.0  6.0  10.0
3  3.0  7.0  11.0

类似地,将您提供的数据框移动-1会产生下面的行

print(df.shift(-1))
     A    B     C
0  2.0  6.0  10.0
1  3.0  7.0  11.0
2  4.0  8.0  12.0
3  NaN  NaN   NaN

所以下面的代码应该可以满足您的要求(add_prefix为列名加上前缀以使其唯一)

above_df = df.shift(1).add_prefix('above_')
below_df = df.shift(-1).add_prefix('below_')
lagged = pd.concat([df, above_df, below_df], axis=1)
lagged['std'] = lagged.apply(np.std, axis=1)

print(lagged)
   A  B   C  above_A  above_B  above_C  below_A  below_B  below_C       std
0  1  5   9      NaN      NaN      NaN      2.0      6.0     10.0  3.304038
1  2  6  10      1.0      5.0      9.0      3.0      7.0     11.0  3.366502
2  3  7  11      2.0      6.0     10.0      4.0      8.0     12.0  3.366502
3  4  8  12      3.0      7.0     11.0      NaN      NaN      NaN  3.304038