Question

我需要比较2张地图，我正在寻找最好的方法。特别是，给定输入中的两个映射，我需要确定它们的条目中是否至少有80％是相同的。目前的做法是：

-Data以key-＆gt;值的形式存储在两个文件中。

例如：

1.1.1.0/24 | 178 188 198

1.1.2.0/24 | 199 2212 2999 212 ....

在此文件中存储大约600K个条目。

- 条目上传到地图中，然后进行比较。

由于数据量巨大，执行速度非常慢。（我需要多次进行这种比较）。我甚至不知道地图是否是最好的数据结构。考虑到2个文件中的条目数可能不同（第一个中存在的一些条目可能不存在于第二个amd中，反之亦然），并且文件中的条目按字母顺序排序。我使用的是Python。

两种不同的方法：

1）在上传包含元组的集合后，执行如下比较：

def checkSame(bgpt1, bgpt2):
    size1 = len(bgpt1)
    size2 = len(bgpt2)

    num_shared_ip = float(len(bgpt1 & bgpt2))
    ratio = num_shared_ip / max(size1, size2)
    return ratio

2）使用地图，通过迭代进行比较：

def compareMaps(map1,map2):
    counter=0
    for keyM1 in map1:
         if keyM1 in map2:
            if map2[keyM1]==map1[keyM1]:
                counter+=1
    ...

Answer 1

由于您的文件已排序，因此您不必存储它们，甚至不必在行之外解析它们。您可以使用较小的当前元素继续前进：

def count_equal(a, b):
    """
    Counts the number of values that are equal in two sorted iterables.

    >>> odds = [1, 3, 5, 7, 9, 11, 13, 15]
    >>> primes = [2, 3, 5, 7, 11, 13]
    >>> count_equal(odds, primes)
    5
    """
    return _count_equal(iter(a), iter(b))


def _count_equal(a, b):
    c = 0
    x = next(a)
    y = next(b)

    try:
        while True:
            while x < y:
                x = next(a)

            while y < x:
                y = next(b)

            if x == y:
                c += 1
                x = next(a)
                y = next(b)
    except StopIteration:
        return c

您可以在同一次读取中分别跟踪每个文件中有多少行：

from __future__ import division


class CountingIterable:
    def __init__(self, iterable):
        self.iterable = iterable

    def __iter__(self):
        count = 0

        for x in self.iterable:
            yield x
            count += 1

        self.count = count


with open('file1.txt', 'r') as a, open('file2.txt', 'r') as b:
    a_counter = CountingIterable(a)
    b_counter = CountingIterable(b)

    a_iterator = iter(a_counter)
    b_iterator = iter(b_counter)

    n = count_equal(a_iterator, b_iterator)

    # consume any remaining elements to acquire count
    for _ in a_iterator: pass
    for _ in b_iterator: pass

    result = n / max(a_counter.count, b_counter.count)

Answer 2

由于您没有发布任何代码，我可以尝试提出一些想法。

也许您可以尝试merge sort这两个文件，然后将每一行与下一行进行比较（这需要每个文件都有一个唯一的密钥）。对于每次点击，您可以将计数器更新为1，当您最终到达文件末尾时，您将使用行计数除以获得相似性。

另一个想法是计算Jaccard Similarity，但这要求每个文件都有唯一的值，并且您的数据适合内存。读取两个文件中的所有值并创建（键：值）字符串集。（Set表示每个值的基数为1）。然后你可以使用这个功能：

def compute_jaccard_index(set_1, set_2):
    n = len(set_1.intersection(set_2))    
    return n / float(len(set_1) + len(set_2) - n)

返回归一化索引[0 - 1]，表示两组的相似程度。

编辑：刚看到您发布的代码。按照我的建议，在元组集上尝试Jaccard Index。您还可以使用ready implementations for Jaccard Index

之一

如何有效地比较两张地图？

2 个答案: