支持向量机和拉格朗日乘数

Question

要找到超平面，我们必须用拉格朗日乘数来解决优化问题。我已阅读了许多教程，他们都说支持向量是唯一一个拉格朗日乘数不等于零的向量。

我想了解为什么或者我们只是假设？

Answer 1

这是因为从数学的角度来看，超平面可以表示为（在线性情况下）：

w = SUM_i^N y_i alpha_i x_i

因此，如果一些拉格朗日乘数（alpha_i）为零，则它们对应的向量（x_i）根本不会影响超平面，因为乘以零会使该向量从计算中消失。同样在内核情况下

<w, x> = SUM_i^N y_i alpha_i K(x_i, x)

对于0拉格朗日乘数，相应向量的内核值无关紧要（再次 - 乘以零会删除此元素）。

因此，我们调用这些向量，这些向量在任何意义上都用来表达超级 - 支持向量，因为这些是唯一一个实际支持 >超平面，所有剩余的 - 在计算中被忽略。