我有P
个过程的时间序列,每个过程的长度都不同,但都具有5个变量(维度)。我正在尝试预测测试过程的估计寿命。我正在Keras中使用有状态LSTM
处理此问题。但是我不确定我的训练过程是否正确。
我将每个序列分为长度为30
的批次。因此,每个序列的形状为(s_i, 30, 5)
,其中s_i
对于每个P
序列(s_i = len(P_i)//30
)是不同的。我将所有序列添加到训练数据中,这些数据的形状为(N, 30, 5)
,其中N = s_1 + s_2 + ... + s_p
。
# design network
model = Sequential()
model.add(LSTM(32, batch_input_shape=(1, train_X[0].shape[1], train_X[0].shape[2]), stateful=True, return_sequences=True))
model.add(LSTM(16, return_sequences=False))
model.add(Dense(1, activation="linear"))
model.compile(loss='mse', optimizer=Adam(lr=0.0005), metrics=['mse'])
model.summary()
看起来像
_________________________________________________________________
Layer (type) Output Shape Param #
=================================================================
lstm_1 (LSTM) (1, 30, 32) 4864
_________________________________________________________________
lstm_2 (LSTM) (1, 16) 3136
_________________________________________________________________
dense_1 (Dense) (1, 1) 17
=================================================================
for epoch in range(epochs):
mean_tr_acc = []
mean_tr_loss = []
for seq in range(train_X.shape[0]): #24
# train on whole sequence batch by batch
for batch in range(train_X[seq].shape[0]): #68
b_loss, b_acc = model.train_on_batch(np.expand_dims(train_X[seq][batch], axis=0), train_Y[seq][batch][-1])
mean_tr_acc.append(b_acc)
mean_tr_loss.append(b_loss)
#reset lstm internal states after training of each complete sequence
model.reset_states()
损失图的问题是我正在将自定义损失中的值除以太小。如果我删除该除法并以对数方式绘制损耗图,则看起来不错。
一旦训练完成,我将尝试预测。我给模型展示了一个新过程的30个时间样本;因此输入形状与训练期间的batch_input_shape
相同,即(1, 30, 5)
。对于相同序列的不同批次,我得到的预测都是相同的。
我几乎可以肯定我在训练过程中做错了什么。如果有人可以帮助我,将不胜感激。谢谢。
因此,只有在训练了20个以上的时间后,该模型才能预测出完全相同的结果。否则,预测值将非常接近,但仍然有些不同。我猜这是由于某种过度拟合造成的。帮助!!!
答案 0 :(得分:4)
通常,当结果相同时,是因为您的数据未标准化。我建议您通过简单的正态转换(即(data-mean)/ std)将数据的均值设置为mean = 0,std = 1。在培训和测试之前,请尝试像这样进行转换。训练集和测试集之间的数据标准化方式上的差异也会导致问题,这可能是导致训练与测试损失不符的原因。始终对所有数据使用相同的规范化技术。