使用pytorch训练神经网络时损失的周期性模式

Question

我在MNIST上使用Pytorch训练模型，损耗曲线具有图中所示的周期性模式。我仔细检查了数据加载器，并在每个时期对数据集进行了重新排序。有任何建议可能原因吗？谢谢。

Loss curve during training, training loss in blue and test loss in red

Answer 1

从图中我了解到，您的损失正在波动。因此，请尝试降低学习率，并降低一些动力术语（如果有）。我不能保证这会起作用，但是希望它能起作用值得尝试。深度学习中的大多数事情都可以解释，只是反复试验。下次请在https://ai.stackexchange.com或https://datascience.stackexchange.com中问这些问题。