在Keras中使用状态LSTM训练多变量多系列回归问题

Question

我有P个过程的时间序列，每个过程的长度都不同，但都具有5个变量（维度）。我正在尝试预测测试过程的估计寿命。我正在Keras中使用有状态LSTM处理此问题。但是我不确定我的训练过程是否正确。

我将每个序列分为长度为30的批次。因此，每个序列的形状为(s_i, 30, 5)，其中s_i对于每个P序列（s_i = len(P_i)//30）是不同的。我将所有序列添加到训练数据中，这些数据的形状为(N, 30, 5)，其中N = s_1 + s_2 + ... + s_p。

型号：

# design network
model = Sequential()
model.add(LSTM(32, batch_input_shape=(1, train_X[0].shape[1], train_X[0].shape[2]), stateful=True, return_sequences=True))
model.add(LSTM(16, return_sequences=False))
model.add(Dense(1, activation="linear"))
model.compile(loss='mse', optimizer=Adam(lr=0.0005), metrics=['mse'])

model.summary()看起来像

_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
lstm_1 (LSTM)                (1, 30, 32)               4864      
_________________________________________________________________
lstm_2 (LSTM)                (1, 16)                   3136      
_________________________________________________________________
dense_1 (Dense)              (1, 1)                    17        
=================================================================

训练循环：

for epoch in range(epochs):
    mean_tr_acc = []
    mean_tr_loss = []

    for seq in range(train_X.shape[0]): #24

        # train on whole sequence batch by batch
        for batch in range(train_X[seq].shape[0]): #68
            b_loss, b_acc = model.train_on_batch(np.expand_dims(train_X[seq][batch], axis=0), train_Y[seq][batch][-1])    

            mean_tr_acc.append(b_acc)
            mean_tr_loss.append(b_loss)

        #reset lstm internal states after training of each complete sequence
        model.reset_states()

编辑：

损失图的问题是我正在将自定义损失中的值除以太小。如果我删除该除法并以对数方式绘制损耗图，则看起来不错。

新问题：

一旦训练完成，我将尝试预测。我给模型展示了一个新过程的30个时间样本；因此输入形状与训练期间的batch_input_shape相同，即(1, 30, 5)。对于相同序列的不同批次，我得到的预测都是相同的。

我几乎可以肯定我在训练过程中做错了什么。如果有人可以帮助我，将不胜感激。谢谢。

编辑2：

因此，只有在训练了20个以上的时间后，该模型才能预测出完全相同的结果。否则，预测值将非常接近，但仍然有些不同。我猜这是由于某种过度拟合造成的。帮助！！！

25个纪元的损失看起来像这样：

Answer 1

通常，当结果相同时，是因为您的数据未标准化。我建议您通过简单的正态转换（即（data-mean）/ std）将数据的均值设置为mean = 0，std = 1。在培训和测试之前，请尝试像这样进行转换。训练集和测试集之间的数据标准化方式上的差异也会导致问题，这可能是导致训练与测试损失不符的原因。始终对所有数据使用相同的规范化技术。