LASSO和稀疏解决方案

Question

在文本中，我发现以下内容：

“ LASSO回归方法提供了稀疏的解决方案，因此可以提高模型的可解释性”。

有人可以帮助我理解这是什么意思吗？据我所知，方程系统解的稀疏分解是维数为l的向量具有最小的伪l范数，从而仍然可以满足该系统。将一些回归系数设置为零的稀疏解将如何对解释有所帮助？

Answer 1

套索回归的惩罚方法不同于使用L1正则化的Ridge。还有一个“ alpha”参数，您可以在scikit-learn上进行设置。对于较高的“ alpha”值，许多系数都会被完全归零。

此方法还使用系数的绝对和（| w |）。例如，如果您的数据集上具有高度相关的要素，则Lasso会将相关系数之一作为最大系数进行处理，而将其余参数设置为0

如果存在两个或多个高度共线性的变量，则LASSO回归随机选择其中一个（不利于数据解释）

您可以在此处找到更多详细信息=> https://www.geeksforgeeks.org/lasso-vs-ridge-vs-elastic-net-ml/

Answer 2

稀疏矩阵/数组或按定义定义的内容，当矩阵主要包含零和少量非零条目时。另一方面，密集的矩阵/数组就是零的时候。

当您应用LASSO回归时，所获系数的稀疏性取决于惩罚量（λ）。惩罚越高，您获得的稀疏系数就越多。即，非零系数（选定变量）。例如，如果回归中有100个自变量，则LASSO可能仅返回10个非零变量。这意味着10个非零变量和90个零变量。这正是稀疏的含义。

选择的变量很少（非零）意味着可以解释的模型，因为您可以用很少的变量（在上面的示例中为10个变量）而不是使用100个变量来解释模型。