为什么1-norm SVM比2-norm SVM更稀疏？

Question

与在SVM的相同成本函数中使用2范数权重相比，我们如何通过在成本函数中使用1范数权重来增加稀疏性。

1-norm：成本函数 - Minimize ||w||_1
对于2范数：成本函数 - Minimize ||w||_2

它与LP-SVM有关吗？

Answer 1

查看l_1损失与某些参数的偏导数。

相对于体重增加，损失是恒定的。因此增加的重量需要抵消一些固定的误差量，无论重量有多小。

比较l2损失，其中惩罚与当前参数的大小成比例。因此当它接近0时，它只需要有一个无穷小的误差减少来抵消正则化惩罚。

Answer 2

请注意|| w || _2＆lt;当| 0 <0时，|| w || _1表示相同的w。 w＆lt; 1（通常会发生），因为L2范数对权重进行平方。

这就是为什么|| w || _1是一个更难的约束，导致稀疏的向量。

它并非特定于SVM，许多算法使用L1或L2正则化。