Keras验证丢失

Question

在训练keras / tensorflow网络时，我观察到验证数据集中的损失远低于训练数据集中的损失 - 按数量级。我正在使用adam优化器和mean_squared_error丢失。在不同的网络类型和数据集大小上，行为是一致的。我认为验证中的平均损失大于火车。也许mean_squared_error是错误的绝对平方误差，由于验证通常小于火车，因此可以解释较低的值？如果没有，那么是什么解释了这种行为？

Answer 1

这部分是由于以下事实：对于一个时期的训练误差被计算为批量训练数据的平均值，而验证误差是在整个验证集的时期结束时计算的。由于培训在一个时期内取得进展，因此第一批的培训错误通常高于最后一批。但它不应该产生数量级的差异。

可能是您的培训和验证数据根本不同，或者您没有正确预处理数据。确保标准化您的数据。此外，如果您不使用时间序列，请在分割为train / val set之前随机地随机播放数据集。