培训集和验证集之间的区别？

Question

我正在学习机器学习，而且我经常遇到人们将他们的数据分成“训练集”和“验证集”。我永远无法弄清楚为什么人们从未使用过所有数据进行培训，然后再次使用它进行验证。这有什么理由让我失踪吗？

Answer 1

想想这样，你将参加考试，并且正在练习练习材料。你不知道考试中你会被问到什么？

另一方面，如果你参加考试本身，当你参加考试时，你会知道所有的答案，所以你甚至不必费心去学习。

您的模型就是这种情况，如果您在火车组和测试仪上训练您的模型，您的模型将事先知道所有答案。你需要给他一些他不知道的东西，以便他可以向你推断出一些答案。

Answer 2

基本上，您希望使用训练数据集对模型进行训练，以便测试是否正确完成了超参数调整，而您希望使用一部分数据集进行测试。

如果直接在测试数据上执行此操作，则过度拟合的可能性很高。为了避免这种情况，您可以使用验证数据集，并根据测试数据集评估模型的性能。