如何使用验证数据调整超参数

时间:2016-08-02 19:29:30

标签: validation machine-learning artificial-intelligence

我正在训练神经网络机器学习模型,对如何调整超参数有点困惑。

我看到培训过程如下:

  • 使用一些超参数(例如隐藏层中的神经元数量)构建神经网络
  • 使用培训数据更新参数
  • 使用验证数据来评估模型是否过度拟合并且正在改进
  • 使用测试数据评估绩效

我被告知验证数据也用于调整超参数。我不明白如何执行此操作,因为您使用验证数据之后您已经构建了模型并对其进行了培训。我无法更改超参数,因为模型已经构建完毕。

假设我有4个超参数,它们指定了神经网络的架构。我是否应该对每个超参数组合(4 ^ 4组合)进行整个培训,验证过程?

谢谢

1 个答案:

答案 0 :(得分:1)

基本上是的,你必须经历整个过程。交叉验证和模型/参数选择以这种方式完成,您训练多次(不同参数),评估结果模型(通过成本,损失,准确度或适当的度量),并选择能产生最佳结果的参数。

例如,如果您在哪里训练回归模型,您可以训练10个不同的多项式模型,并使用验证数据来选择更好的模型,在您的情况下相同,但您使用不同的网络架构。