使用熊猫在大型数据集中查找接近向量

Question

对于一个相似性项目，我需要分析1000维特征向量并找到最接近的值（我使用Manhattan distance，即scipy.spatial.distance.cityblock得到了一定的经验阈值）。我最初有数百万个向量要比较，并且还会有更多的不断增加。

我正在考虑使用熊猫来解决任务。能行吗？我应该将数据集分成几个部分吗？

向量由正实数（最多为10个）和零组成。

    ...
    0.0,
    0.0,
    0.00627385638654232,
    0.0,
    9.711357051855884e-07,
    0.0,
    2.1105501651763916,
    0.0,
    2.3891907896533837e-10,
    0.0,
    0.16674332320690155,
    0.0,
    0.0,
    0.0,
    0.0,
    0.0,
    4.790003475844827e-27,
    0.0,
    0.0,
    0.0,
    0.0,
    3.0351770901292097e-13,
    0.06621165573596954,
    0.0,
    0.0,
    0.0,
    0.0,
    0.0,
    0.0,
    0.0,
    0.0,
    0.0,
    0.0,
    1.1311118331775704e-17,
    0.0,
    0.0,
    0.0,
    7.631283341843815e-20,
    0.0,
    0.0,
    1.6503195254813363e-08,
    2.1143353508292794e-26,
    0.0,
    0.0,
    0.0,
    0.0,
    0.0,
    0.7260096073150635,
    0.0,
    0.0,
    0.6851852536201477,
    0.0,
    0.0,
    0.0,
    0.005956938490271568,
    ...