我正在尝试使用带有numpy和pandas的python清理实验数据。我的一些测量令人难以置信。我想从同一样本中删除这些测量以及前两个和后两个测量。我正在尝试找到一种优雅的方法来实现此目标，而无需使用for循环，因为我的数据帧非常大。
我的数据：
>>>df
Date Time Sample Measurement
index
7737 2019-04-15 06:40:00 A 6.560
7739 2019-04-15 06:50:00 A 1.063
7740 2019-04-15 06:55:00 A 1.136
7741 2019-04-15 07:00:00 A 1.301
7742 2019-04-15 07:05:00 A 1.435
7743 2019-04-15 07:10:00 A 1.704
7744 2019-04-15 07:15:00 A 1.961
7745 2019-04-15 07:20:00 A 2.023
7746 2019-04-15 07:25:00 A 6.284
7747 2019-04-15 07:30:00 A 2.253
7748 2019-04-15 07:35:00 A 6.549
7749 2019-04-15 07:40:00 A 2.591
7750 2019-04-15 07:45:00 A 6.321
7752 2019-04-15 07:55:00 A 0.937
7753 2019-04-15 08:00:00 B 0.372
7754 2019-04-15 08:05:00 B 0.382
7755 2019-04-15 08:10:00 B 0.390
7756 2019-04-15 08:15:00 B 0.455
7757 2019-04-15 08:20:00 B 6.499
import numpy as np
import pandas as pd
df['Measurement'] = np.where(df['Measurement']>6.0, np.nan, df['Measurement'])
给予
>>>df
Date Time Sample Measurement
index
7737 2019-04-15 06:40:00 A NaN
7739 2019-04-15 06:50:00 A 1.063
7740 2019-04-15 06:55:00 A 1.136
7741 2019-04-15 07:00:00 A 1.301
7742 2019-04-15 07:05:00 A 1.435
7743 2019-04-15 07:10:00 A 1.704
7744 2019-04-15 07:15:00 A 1.961
7745 2019-04-15 07:20:00 A 2.023
7746 2019-04-15 07:25:00 A NaN
7747 2019-04-15 07:30:00 A 2.253
7748 2019-04-15 07:35:00 A NaN
7749 2019-04-15 07:40:00 A 2.591
7750 2019-04-15 07:45:00 A NaN
7752 2019-04-15 07:55:00 A 0.937
7753 2019-04-15 08:00:00 B 0.372
7754 2019-04-15 08:05:00 B 0.382
7755 2019-04-15 08:10:00 B 0.390
7756 2019-04-15 08:15:00 B 0.455
7757 2019-04-15 08:20:00 B NaN
我使用
删除了行df= df[np.isfinite(df['Measurement'])]
在删除样本中包含NaN的行之前和之后的2行之后，我试图获得结果（请注意，必须保留7753，因为此度量属于样本B）。
Date Time Sample Measurement
index
7741 2019-04-15 07:00:00 A 1.301
7742 2019-04-15 07:05:00 A 1.435
7743 2019-04-15 07:10:00 A 1.704
7753 2019-04-15 08:00:00 B 0.372
7754 2019-04-15 08:05:00 B 0.382
答案 0 :(得分：3)
我们可以标记所有if view_func.__name__ in LOGIN_EXEMPT_URLS:前后的索引，然后将其值也替换为NaN：
NaN# Get indices of NaN's
idxnull = df[df['Measurement'].isnull()].index
a = [range(x+2) if x==0 else range(x-2, x) if x==idxnull.max() else range(x-2, x+2) for x in idxnull]
for rng in a:
df.loc[rng, 'Measurement'] = np.NaN
df.dropna(inplace=True)
df = df.iloc[1:]
列表理解似乎很困难，但是有以下内容：
Index Date Time Sample Measurement
3 7741 2019-04-15 07:00:00 A 1.301
4 7742 2019-04-15 07:05:00 A 1.435
5 7743 2019-04-15 07:10:00 A 1.704
14 7753 2019-04-15 08:00:00 B 0.372
15 7754 2019-04-15 08:05:00 B 0.382
答案 1 :(得分：2)
首先，我将您标记为无效者，其他地方是NaN，然后是bfill，ffill：
df['invalid'] = np.where(df.Measurement.gt(6), True, np.nan)
groups = df.groupby('Sample')
df['invalid'] = groups.invalid.ffill(limit=2)
df['invalid'] = groups.invalid.bfill(limit=2)
# drop the invalids:
df = df[df.invalid.isna()]
# drop the invalid column:
df.drop('invalid', axis=1, inplace=True)
输出：
Date Time Sample Measurement
Index
7741 2019-04-15 07:00:00 A 1.301
7742 2019-04-15 07:05:00 A 1.435
7743 2019-04-15 07:10:00 A 1.704
7753 2019-04-15 08:00:00 B 0.372
7754 2019-04-15 08:05:00 B 0.382
答案 2 :(得分：1)
df.loc[((df['Measurement']>6) & (df['Sample'] == 'A')),'drop'] = 'Y'
# making sure B readings dont get dropped
l = df.index[df['drop'] == 'Y'].tolist()
l_drop = []
for i in l:
l_drop.append(i-1)
l_drop.append(i+1)
l_drop.append(i+2)
df.drop(df.index[l_drop],inplace=True)
不迭代数据框。
答案 3 :(得分：0)
您可以通过设置 center = True 并将窗口大小设置为 5 来尝试Seies.rolling()，例如：
m = df.groupby('Sample').Measurement \
.rolling(5, center=True, min_periods=1) \
.apply(lambda x: x.isna().any(), raw=False) \
.reset_index(level=0, drop=True) \
.eq(0)
print(df[m])
# Date Time Sample Measurement
#7741 2019-04-15 07:00:00 A 1.301
#7742 2019-04-15 07:05:00 A 1.435
#7743 2019-04-15 07:10:00 A 1.704
#7753 2019-04-15 08:00:00 B 0.372
#7754 2019-04-15 08:05:00 B 0.382
您可以将x.isna().any()调整为x.gt(6.0).any()，这样就无需在“测量”列上设置NaN值。