过滤/消除噪音

Question

问题很简单。如何去除数据中的噪音？我已经制作了一些x和y值以及一些噪声，这是我正在处理的数据的大致简化（除了随机噪声我不能与我必须处理的噪声相同）。我真的不知道我是否需要过滤或平滑。我的文件包含两组需要绘制的数据，这些数据中存在实验噪声，删除它的最佳方法是什么？平滑还是过滤？

我最近在另一篇文章中发布了这段代码，我所做的就是添加了噪音。

import matplotlib.pyplot as plt
import numpy as np
from scipy.optimize import curve_fit, minimize_scalar 

x1 = [1,2,2.5,3.2,2.8,3.5,4,5]
y = [1,4,9.2,16,16.1,9.6,4,1]
noise = np.random.normal(0,1,8)
x = x1 + noise #bring on the noise

def f(x, p1, p2, p3):
return p3*(p1/((x-p2)**2 + (p1/2)**2))   

p0 = (8, 16, 0.1) # guess perameters 
plt.plot(x,y,"ro")
popt, pcov = curve_fit(f, x, y, p0)

fm = lambda x: -f(x, *popt) #this part and below is not my code but the 
#solution to my previous question     
r = minimize_scalar(fm, bounds=(1, 5))
print "maximum:", r["x"], f(r["x"], *popt)

x_curve = np.linspace(1, 5, 100)
plt.plot(x_curve, f(x_curve, *popt))
plt.plot(r['x'], f(r['x'], *popt), 'ko')
plt.show()

说我删除噪音并用x替换x1 ......我的数据点得到了很好的冷杉。当涉及噪音时，我怎样才能接近这一点？

Answer 1

使用卡尔曼滤波器消除噪声的最简单方法。假设您的数据（测量值）有些杂音。您想要使用过滤器进行校正。使用卡尔曼滤波器，并根据您的数据转换更改 transition_covariance 变量。

import matplotlib.pyplot as plt 
from pykalman import KalmanFilter 
import numpy as np

measurements = np.asarray([1, 2, 3, 5, 3, 2, 1, 2, 4, 5,7, 9, 10, 8, 5, 1]) 
kf = KalmanFilter(transition_matrices=[1],
                  observation_matrices=[1],
                  initial_state_mean=measurements[0],
                  initial_state_covariance=1,
                  observation_covariance=5,
                  transition_covariance=1) #0.01) 
state_means, state_covariances = kf.filter(measurements) 
state_std = np.sqrt(state_covariances[:,0]) 
print (state_std) 
print (state_means) 
print (state_covariances)

plt.plot(measurements, '-r', label='measurment') 
plt.plot(state_means, '-g', label='kalman-filter output') 
plt.legend(loc='upper left') 
plt.show()