Question

我试图比较两个数据列表，其中有一些自由文本表示同一个对象。示例

List 1 ['abc LLC','xyz, LLC']
List 2 ['abc , LLC','xyz LLC']

这是一个简单的例子，但问题是可能会有很多变化，例如大小写的变化或添加一些“。”之间。是否有任何python包可以进行比较并给出相似性的度量？

Answer 1

您可以使用Levenshtein Distance算法的实现来进行非精确的字符串匹配，例如this one from Wikibooks。

另一种选择是，例如，在原始比较之前将所有内容折叠成小写，删除空格等 - 这当然取决于您的使用案例：

import string, unicodedata
allowed = string.letters + string.digits
def fold(s):
  s = unicodedata.normalize("NFKD", unicode(s).lower()).encode("ascii", "ignore")
  s = "".join(c for c in s if c in allowed)
  return s

for example in ['abc LLC','xyz, LLC', 'abc , LLC','xyz LLC']:
  print "%r -> %r" % (example, fold(example))

会打印

'abc LLC' -> 'abcllc'
'xyz, LLC' -> 'xyzllc'
'abc , LLC' -> 'abcllc'
'xyz LLC' -> 'xyzllc'

Answer 2

有一个优秀的二进制库，它使用字符串之间的levenshtein距离（编辑距离）来估计相似性。试一试：

https://github.com/miohtama/python-Levenshtein

Python字符串比较相似性

2 个答案: