回归问题的维数/降噪技术

Question

回归问题降维的一些技巧是什么？我已经尝试了我所知道的唯一无监督技术，PCA和内核PCA（使用scikit学习库），但我没有看到使用这些技术的任何改进。也许这些只适用于分类问题？我可以尝试哪些其他技巧？优选地，在sklearn中实现的那些。

Answer 1

这是一个非常普遍的问题，技术（或它们的组合）的适用性实际上取决于您的问题细节。

一般来说，有几类降维（除了你提到的那些。

1. 也许最简单的降维方法就是使用一些功能，在这种情况下我们真的在讨论功能选择（参见sklearn's module）。

2. 另一种方法是集群（sklearn's），并用其组件的集合替换每个集群。

3. 最后，一些回归量使用l1惩罚和凸优化的属性来同时选择一个特征子集;在sklearn中，请参阅the lasso and elastic net。

再一次，这是一个非常广泛的问题。即使是特征选择也有完整的书籍和竞赛，这是降维的一个子集。

Answer 2

添加到@AmiTavory的好答案：PCA主成分分析可以在这里使用。如果您不希望执行dimensionality reduction，只需保留PCA中与输入矩阵大小相同数量的特征向量：在您的情况下为20.

结果输出将是正交特征向量：您可以认为它们提供您正在寻求的“变换”，如下所示：向量按它们各自的变化量来表示输入。