Question

我有一个pandas DataFrame，我想滚动计算所有值的平均值：对于所有列，对于滚动窗口中的所有观察值。

我有一个带循环的解决方案，但感觉效率很低。请注意，我的数据中可以包含NaNs，因此根据窗口形状计算总和和跳水将是不安全的（因为我需要nanmean）。

还有更好的方法吗？

设置

import numpy as np
import pandas as pd

np.random.seed(1)

df = pd.DataFrame(np.random.randint(0, 10, size=(10, 2)), columns=['A', 'B'])

df[df>5] = np.nan  # EDIT: add nans

我的尝试

n_roll = 2

df_stacked = df.values
roll_avg = {}
for idx in range(n_roll, len(df_stacked)+1):
    roll_avg[idx-1] = np.nanmean(df_stacked[idx - n_roll:idx, :].flatten())

roll_avg = pd.Series(roll_avg)
roll_avg.index = df.index[n_roll-1:]
roll_avg = roll_avg.reindex(df.index)

所需结果

roll_avg
Out[33]: 
0         NaN
1    5.000000
2    1.666667
3    0.333333
4    1.000000
5    3.000000
6    3.250000
7    3.250000
8    3.333333
9    4.000000

谢谢！

Answer 1

这是一个NumPy解决方案，其中滑动窗口关闭了view_as_windows-

from skimage.util.shape import view_as_windows

# Setup o/p array
out = np.full(len(df),np.nan)

# Get sliding windows of length n_roll along axis=0
w = view_as_windows(df.values,(n_roll,1))[...,0]

# Assign nan-ignored mean values computed along last 2 axes into o/p
out[n_roll-1:] = np.nanmean(w, (1,2))

views的内存效率-

In [62]: np.shares_memory(df,w)
Out[62]: True

Answer 2

要在nan的情况下获得相同的结果，可以在所有column_stack上使用df.shift(i).values for i in range(n_roll)，在axis = 1上使用nanmean，然后您需要在以下情况后用n_roll-1替换第一个nan值：

roll_avg = pd.Series(np.nanmean(np.column_stack([df.shift(i).values for i in range(n_roll)]),1))
roll_avg[:n_roll-1] = np.nan

，并在第二个输入中输入nan，您将获得预期的结果

0         NaN
1    5.000000
2    1.666667
3    0.333333
4    1.000000
5    3.000000
6    3.250000
7    3.250000
8    3.333333
9    4.000000
dtype: float64

Answer 3

使用注释中引用的answer，可以做到：

wsize = n_roll
cols = df.shape[1]
out = group.stack(dropna=False).rolling(window=wsize * cols, min_periods=1).mean().reset_index(-1, drop=True).sort_index()
out.groupby(out.index).last()
out.iloc[:nroll-1] = np.nan

对于我来说，在dropna=False中指定stack很重要，否则滚动窗口的长度将不正确。

但是我期待其他方法，因为这并不十分优雅/高效。

滚动平均熊猫数据框的所有值

3 个答案: