什么是在python中找到特征值/向量的最快方法?

时间:2011-07-13 19:08:07

标签: python matrix numpy linear-algebra eigenvalue

目前我正在使用numpy来完成这项工作。但是,因为我正在处理具有数千行/列的矩阵,后来这个数字将达到数万,我想知道是否存在可以更快地执行此类计算的包?

2 个答案:

答案 0 :(得分:51)

  • **如果矩阵稀疏,则使用 scipy.sparse 中的构造函数实例化矩阵,然后在 spicy.sparse.linalg <中使用类似的特征向量/特征值方法/ em>的。从性能的角度来看,这有两个好处:

    • 你的矩阵,由spicy.sparse构造函数构建,将与它的稀疏程度成比例地变小。

    • 稀疏矩阵的eigenvalue/eigenvector methods eigs eigsh )接受一个可选参数 k ,这是要返回的特征向量/特征值对的数量。几乎总是占据&gt; 99%差异所需的数量远远少于列数,您可以验证 ex post ;换句话说,你可以告诉方法不要计算并返回所有特征向量/特征值对 - 除了考虑方差所需的(通常)小子集之外,你不太可能需要其余的。

  • SciPy scipy.linalg 中使用线性代数库 同名的 NumPy 库。这两个图书馆都有 相同的名称和使用相同的方法名称。然而,性能有所不同。 这种差异是由 numpy.linalg 是a引起的 less 忠实的包装在类似的LAPACK例程上 牺牲一些性能以便携带和方便(即 遵守整个 NumPy 库的 NumPy 设计目标 应该在没有Fortran编译器的情况下构建)。在 SciPy 上的 linalg 另一方面是LAPACK上更完整的包装器 使用 f2py

  • 选择适合您用例的功能 ;换句话说,不要使用超出您需要的功能。在 scipy.linalg 中 有几个函数来计算特征值;该 虽然通过仔细选择功能,但差异并不大 要计算特征值,你应该看到性能提升。对于 实例:

    • scipy.linalg.eig 返回两个特征值和 本征向量
    • scipy.linalg.eigvals ,仅返回特征值。因此,如果您只需要矩阵的特征值,那么使用 linalg.eig ,而是使用 linalg.eigvals
    • 如果你有一个实值方形对称矩阵(等于它的转置),那么使用 scipy.linalg.eigsh
  • 优化您的Scipy构建 准备SciPy构建环境 主要在SciPy的 setup.py 脚本中完成。也许是 性能最重要的选项是识别任何优化的选项 LAPACK库,例如 ATLAS 或Accelerate / vecLib框架(OS X) 只有?)这样SciPy才能检测到它们并构建它们。 根据您目前的装备,优化您的SciPy 构建然后重新安装可以给你一个实质性的表现 增加。 SciPy核心团队的其他说明是here

这些功能是否适用于大型矩阵?

我应该这么认为。这些是工业强度矩阵分解方法,它们只是类似Fortran LAPACK 例程的薄包装。

我已经使用linalg库中的大多数方法来分解矩阵,其中列数通常在大约5到50之间,并且行数通常超过500,000。 SVD 特征值方法似乎都没有任何问题处理这种大小的矩阵。

使用 SciPy linalg ,您可以使用此库中的几种方法中的任何一种方法,通过一次调用计算特征向量和特征值, eig eigvalsh eigh

>>> import numpy as NP
>>> from scipy import linalg as LA

>>> A = NP.random.randint(0, 10, 25).reshape(5, 5)
>>> A
    array([[9, 5, 4, 3, 7],
           [3, 3, 2, 9, 7],
           [6, 5, 3, 4, 0],
           [7, 3, 5, 5, 5],
           [2, 5, 4, 7, 8]])

>>> e_vals, e_vecs = LA.eig(A)

答案 1 :(得分:8)

如果你的矩阵稀疏,你可以尝试使用scipy的稀疏特征值函数,它应该更快:

http://docs.scipy.org/doc/scipy/reference/sparse.linalg.html

您也可以查看像SLEPc这样的专用软件包,它具有python绑定并且可以使用mpi并行执行计算:

http://code.google.com/p/slepc4py/