切点处的解是最佳解决方案吗？

Question

根据我对this文章的理解，蓝色圆圈是水平曲线，蓝点是最小化成本函数的最佳解决方案。黄色圆圈是L2范数约束。

我们需要的解决方案是尽可能地降低成本函数，同时也在圈内。意思是，解决方案是黄色圆圈和水平曲线之间的切点。

但是，我的问题是，如果切点处的W值不能完全降低成本函数，那么这是如何解决的？只有蓝点才能最大限度地降低成本函数。

Answer 1

如果没有约束，蓝点可以最大限度地降低成本函数。 如果最小化受L2范数约束，那么蓝点不能成为解决方案，因为它违反了约束。因此，点w *是解决方案。

使用L2约束的原因是我们试图最小化测试数据的误差，而不是列车数据（即我们不直接对最小化损失函数感兴趣）。更简单的解决方案（具有更小的L2范数）倾向于过度设置，因此我们期望测试和列车误差之间的差距更小（这是期望的）。