岭回归B系数计算

Question

我正在尝试通过Python中的以下公式计算岭回归B系数：

（X ^ T * X +λ* I）^（− 1）+ X ^ T * y

其中： X ^ T = X转置
X ^（-1）= X的逆矩阵

问题：单位矩阵（I）应该采用什么形状？ X.shape或y.shape？

谢谢您的帮助！

Answer 1

I的形状应为X'X，然后才允许矩阵加法。 X通常为[n,m]形状，其中n是实例数（行），m是要素数（列）。因此，X'X的形状为[m,m]，其形状应为I。

还请注意，通常在公式化X时，会有一列表示偏差项。意思是，您可能具有m个功能，但是X将具有m+1列，包括偏差。

希望这会有所帮助。