在Keras中使用状态LSTM训练多变量多系列回归问题

时间:2019-04-23 12:14:30

标签: python machine-learning keras lstm recurrent-neural-network

我有P个过程的时间序列,每个过程的长度都不同,但都具有5个变量(维度)。我正在尝试预测测试过程的估计寿命。我正在Keras中使用有状态LSTM处理此问题。但是我不确定我的训练过程是否正确。

我将每个序列分为长度为30的批次。因此,每个序列的形状为(s_i, 30, 5),其中s_i对于每个P序列(s_i = len(P_i)//30)是不同的。我将所有序列添加到训练数据中,这些数据的形状为(N, 30, 5),其中N = s_1 + s_2 + ... + s_p

型号:

# design network
model = Sequential()
model.add(LSTM(32, batch_input_shape=(1, train_X[0].shape[1], train_X[0].shape[2]), stateful=True, return_sequences=True))
model.add(LSTM(16, return_sequences=False))
model.add(Dense(1, activation="linear"))
model.compile(loss='mse', optimizer=Adam(lr=0.0005), metrics=['mse'])

model.summary()看起来像

_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
lstm_1 (LSTM)                (1, 30, 32)               4864      
_________________________________________________________________
lstm_2 (LSTM)                (1, 16)                   3136      
_________________________________________________________________
dense_1 (Dense)              (1, 1)                    17        
=================================================================

训练循环:

for epoch in range(epochs):
    mean_tr_acc = []
    mean_tr_loss = []

    for seq in range(train_X.shape[0]): #24

        # train on whole sequence batch by batch
        for batch in range(train_X[seq].shape[0]): #68
            b_loss, b_acc = model.train_on_batch(np.expand_dims(train_X[seq][batch], axis=0), train_Y[seq][batch][-1])    

            mean_tr_acc.append(b_acc)
            mean_tr_loss.append(b_loss)

        #reset lstm internal states after training of each complete sequence
        model.reset_states()

编辑:

损失图的问题是我正在将自定义损失中的值除以太小。如果我删除该除法并以对数方式绘制损耗图,则看起来不错。

新问题:

一旦训练完成,我将尝试预测。我给模型展示了一个新过程的30个时间样本;因此输入形状与训练期间的batch_input_shape相同,即(1, 30, 5)。对于相同序列的不同批次,我得到的预测都是相同的。

我几乎可以肯定我在训练过程中做错了什么。如果有人可以帮助我,将不胜感激。谢谢。

编辑2:

因此,只有在训练了20个以上的时间后,该模型才能预测出完全相同的结果。否则,预测值将非常接近,但仍然有些不同。我猜这是由于某种过度拟合造成的。帮助!!!

25个纪元的损失看起来像这样: loss_25epochs

1 个答案:

答案 0 :(得分:4)

通常,当结果相同时,是因为您的数据未标准化。我建议您通过简单的正态转换(即(data-mean)/ std)将数据的均值设置为mean = 0,std = 1。在培训和测试之前,请尝试像这样进行转换。训练集和测试集之间的数据标准化方式上的差异也会导致问题,这可能是导致训练与测试损失不符的原因。始终对所有数据使用相同的规范化技术。