Question

我正在使用tensorflow中的tf.learn训练LSTM。为此，我将数据分为训练（90％）和验证（10％）。据我了解，模型通常比验证数据更适合训练数据，但结果却相反。验证集的损失更低，准确性更高。

正如我在其他答案中读到的那样，这可能是由于在验证期间未应用辍学。但是，当我从LSTM架构中删除辍学时，验证损失仍然低于训练损失（尽管差异较小）。

此外，每个时期结束时显示的损失也不是每个批次中损失的平均值（例如使用Keras时）。这是他最后一批的损失。我还认为这可能是我取得成绩的原因，但事实并非如此。

Training samples: 783
Validation samples: 87
--
Training Step: 4  | total loss: 1.08214 | time: 1.327s
| Adam | epoch: 001 | loss: 1.08214 - acc: 0.7549 | val_loss: 0.53043 - val_acc: 0.9885 -- iter: 783/783
--
Training Step: 8  | total loss: 0.41462 | time: 1.117s
| Adam | epoch: 002 | loss: 0.41462 - acc: 0.9759 | val_loss: 0.17027 - val_acc: 1.0000 -- iter: 783/783
--
Training Step: 12  | total loss: 0.15111 | time: 1.124s
| Adam | epoch: 003 | loss: 0.15111 - acc: 0.9984 | val_loss: 0.07488 - val_acc: 1.0000 -- iter: 783/783
--
Training Step: 16  | total loss: 0.10145 | time: 1.114s
| Adam | epoch: 004 | loss: 0.10145 - acc: 0.9950 | val_loss: 0.04173 - val_acc: 1.0000 -- iter: 783/783
--
Training Step: 20  | total loss: 0.26568 | time: 1.124s
| Adam | epoch: 005 | loss: 0.26568 - acc: 0.9615 | val_loss: 0.03077 - val_acc: 1.0000 -- iter: 783/783
--
Training Step: 24  | total loss: 0.11023 | time: 1.129s
| Adam | epoch: 006 | loss: 0.11023 - acc: 0.9863 | val_loss: 0.02607 - val_acc: 1.0000 -- iter: 783/783
--
Training Step: 28  | total loss: 0.07059 | time: 1.141s
| Adam | epoch: 007 | loss: 0.07059 - acc: 0.9934 | val_loss: 0.01882 - val_acc: 1.0000 -- iter: 783/783
--
Training Step: 32  | total loss: 0.03571 | time: 1.122s
| Adam | epoch: 008 | loss: 0.03571 - acc: 0.9977 | val_loss: 0.01524 - val_acc: 1.0000 -- iter: 783/783
--
Training Step: 36  | total loss: 0.05084 | time: 1.120s
| Adam | epoch: 009 | loss: 0.05084 - acc: 0.9948 | val_loss: 0.01384 - val_acc: 1.0000 -- iter: 783/783
--
Training Step: 40  | total loss: 0.22283 | time: 1.132s
| Adam | epoch: 010 | loss: 0.22283 - acc: 0.9714 | val_loss: 0.01227 - val_acc: 1.0000 -- iter: 783/783

使用的网络（请注意，辍学已被注释掉）：

def get_network_wide(frames, input_size, num_classes):
    """Create a one-layer LSTM"""
    net = tflearn.input_data(shape=[None, frames, input_size])
    #net = tflearn.lstm(net, 256, dropout=0.2)
    net = tflearn.fully_connected(net, num_classes, activation='softmax')
    net = tflearn.regression(net, optimizer='adam',
                             loss='categorical_crossentropy',metric='default', name='output1')
    return net

Plot of validation loss vs training loss

Answer 1

从本质上讲，这不一定是有问题的现象。

我已经训练CNN和LSTM已有一段时间了，并且根据训练/验证集的结构/结构，与训练集相比，您可以在验证集上获得更好的验证准确性/更少的验证损失

发生这种情况的原因有很多：

通常当您的训练数据难以训练/学习模式时可能会发生，而验证集拥有“容易”的图像/数据进行分类。 LSTM /序列分类数据也可以使用。
在训练的早期阶段，可能会发生验证损失小于训练损失/验证准确度大于训练准确度的情况。

但是，您的训练集和验证集都很小。仅在有非常多的数据（在这种情况下为数万甚至数十万）时才进行这样的划分（在训练中为90％，在验证/开发中为10％）。另一方面，您的整个训练集（train + val）少于1000个样本。 您需要更多的数据，因为LSTM众所周知需要大量的训练数据。

然后，您可以尝试使用 KFoldCrossValidation 或什至 StratifiedKFoldCrossValidation。。这样，可以确保您没有手动创建非常简单的验证集您经常测试；相反，您可以有k折，其中k-1用于训练，1用于验证；这样可以避免出现情况（1）。

答案就在于数据。 仔细准备，因为结果很大程度上取决于数据的质量（预处理数据，清洁数据，创建相关的培训/验证/测试集）。

验证损失低于训练损失培训LSTM

1 个答案: