Question

我有以下时间序列数据帧。我想用之前的值填充缺失的值。但是我只想填充缺失值，直到达到某个值。该值记录在不同的列中。所以我想要填充的列对于每一行都是不同的。我怎么能这样做？

所以，考虑到这个数据帧。

import numpy as np
import pandas as pd
df = pd.DataFrame([[1, 2 ,np.nan,np.nan,np.nan , 2009], [1, 3 , np.nan , np.nan , np.nan , 2010], [4, np.nan , 7 , np.nan,np.nan , 2011]], columns=[2007,2008,2009,2010,2011 , fill_until])

输入数据框

2007    2008    2009    2010    2011  fill_until 
 1       2       NaN    NaN     NaN   2009
 1       3       NaN    NaN     NaN   2010
 4       Nan     7      NaN     NaN   2011

输出数据帧：

2007    2008    2009    2010    2011
 1       2       2      NaN      NaN
 1       3       3        3      NaN
 4       4       7        7        7

Answer 1

使用ffill + where -

m = df.columns[:-1].values <= df.fill_until.values[:, None]
df.iloc[:, :-1].ffill(axis=1).where(m)

   2007  2008  2009  2010  2011
0   1.0   2.0   2.0   NaN   NaN
1   1.0   3.0   3.0   3.0   NaN
2   4.0   4.0   7.0   7.0   7.0

<强>详情

使用NumPy的广播，根据fill_until列获取要填充的值的掩码。

m = df.columns[:-1].values <= df.fill_until.values[:, None]

或者，

m = (df.columns[:-1].values[:, None] <= df.fill_until.values).T

m    
array([[ True,  True,  True, False, False],
       [ True,  True,  True,  True, False],
       [ True,  True,  True,  True,  True]], dtype=bool)

现在，切除除最后一列之外的所有列，并沿第一轴调用ffill -

i = df.iloc[:, :-1].ffill(axis=1)
i

   2007  2008  2009  2010  2011
0   1.0   2.0   2.0   2.0   2.0
1   1.0   3.0   3.0   3.0   3.0
2   4.0   4.0   7.0   7.0   7.0

现在，使用先前计算的掩码m使用i掩盖df.where的值 -

i.where(m)

   2007  2008  2009  2010  2011
0   1.0   2.0   2.0   NaN   NaN
1   1.0   3.0   3.0   3.0   NaN
2   4.0   4.0   7.0   7.0   7.0

或者，使用mask，反转m -

i.mask(~m)

   2007  2008  2009  2010  2011
0   1.0   2.0   2.0   NaN   NaN
1   1.0   3.0   3.0   3.0   NaN
2   4.0   4.0   7.0   7.0   7.0

Answer 2

您可以使用：

首先从列fill_until
通过numpy广播创建掩码
使用mask并将[{3}}应用于方法ffill（与ffill相同）
最后fillna并且对于相同的列顺序添加reset_index

df = pd.DataFrame([[1, 2 ,np.nan,np.nan,10 , 2009], 
                   [1, 3 , np.nan , np.nan , np.nan , 2010], 
                   [4, np.nan , 7 , np.nan,np.nan , 2011]], 
                   columns=[2007,2008,2009,2010,2011 , 'fill_until'])
print (df)
   2007  2008  2009  2010  2011  fill_until
0     1   2.0   NaN   NaN  10.0        2009
1     1   3.0   NaN   NaN   NaN        2010
2     4   NaN   7.0   NaN   NaN        2011

df1 = df.set_index('fill_until')
m = df1.columns.values <= df1.index.values[:, None]
print (m)
[[ True  True  True False False]
 [ True  True  True  True False]
 [ True  True  True  True  True]]

df =  df1.mask(m, df1.ffill(axis=1)).reset_index().reindex(columns=df.columns)
print (df)
   2007  2008  2009  2010  2011  fill_until
0     1   2.0   2.0   NaN  10.0        2009
1     1   3.0   3.0   3.0   NaN        2010
2     4   4.0   7.0   7.0   7.0        2011

填充空值直到Pandas中的某个列值

2 个答案: