Question

情况是我有一个包含地址和城市字段的大约500,000条记录的庞大数据库，其中没有这样的标准方法来插入值，因此多个用户例如，有些人将其城市价值插入 bangalore ，而另一些人将其城市值插入 begaluru或benglore（拼写错误）

同样在地址字段的情况下，具有多个记录的同一用户已插入其地址值，但值不是特别相同，例如 Mountville park Thomas gate 和 Montlee park thonas gte 。

我需要获取那些地址和城市具有相同且几乎相似的值（以某种方式错过）的记录。

有没有办法让这些记录具有几乎相似但不匹配的值？

三江源。

Answer 1

这将是一个昂贵的查询，但由于这有望成为一次性操作，您可以考虑查看Levenshtein distance公式。

为了避免需要计算桌子笛卡尔积的距离，你可以先缩小一组城市和地址，以便与更快的健全性检查进行比较......例如，它们以相同的字母开头，并且有相似的长度。

然后你可以开始只返回一个非常小的 Levenshtein距离 的记录，然后逐渐增加距离，直到你开始得到太多的误报。< / p>

Here's an implementation directly in MySql：

CREATE FUNCTION levenshtein( s1 VARCHAR(255), s2 VARCHAR(255) ) 
  RETURNS INT 
  DETERMINISTIC 
  BEGIN 
    DECLARE s1_len, s2_len, i, j, c, c_temp, cost INT; 
    DECLARE s1_char CHAR; 
    -- max strlen=255 
    DECLARE cv0, cv1 VARBINARY(256); 
    SET s1_len = CHAR_LENGTH(s1), s2_len = CHAR_LENGTH(s2), cv1 = 0x00, j = 1, i = 1, c = 0; 
    IF s1 = s2 THEN 
      RETURN 0; 
    ELSEIF s1_len = 0 THEN 
      RETURN s2_len; 
    ELSEIF s2_len = 0 THEN 
      RETURN s1_len; 
    ELSE 
      WHILE j <= s2_len DO 
        SET cv1 = CONCAT(cv1, UNHEX(HEX(j))), j = j + 1; 
      END WHILE; 
      WHILE i <= s1_len DO 
        SET s1_char = SUBSTRING(s1, i, 1), c = i, cv0 = UNHEX(HEX(i)), j = 1; 
        WHILE j <= s2_len DO 
          SET c = c + 1; 
          IF s1_char = SUBSTRING(s2, j, 1) THEN  
            SET cost = 0; ELSE SET cost = 1; 
          END IF; 
          SET c_temp = CONV(HEX(SUBSTRING(cv1, j, 1)), 16, 10) + cost; 
          IF c > c_temp THEN SET c = c_temp; END IF; 
            SET c_temp = CONV(HEX(SUBSTRING(cv1, j+1, 1)), 16, 10) + 1; 
            IF c > c_temp THEN  
              SET c = c_temp;  
            END IF; 
            SET cv0 = CONCAT(cv0, UNHEX(HEX(c))), j = j + 1; 
        END WHILE; 
        SET cv1 = cv0, i = i + 1; 
      END WHILE; 
    END IF; 
    RETURN c; 
  END;

然后可以在辅助函数中使用此函数，如下所示：

CREATE FUNCTION levenshtein_ratio( s1 VARCHAR(255), s2 VARCHAR(255) ) 
  RETURNS INT 
  DETERMINISTIC 
  BEGIN 
    DECLARE s1_len, s2_len, max_len INT; 
    SET s1_len = LENGTH(s1), s2_len = LENGTH(s2); 
    IF s1_len > s2_len THEN  
      SET max_len = s1_len;  
    ELSE  
      SET max_len = s2_len;  
    END IF; 
    RETURN ROUND((1 - LEVENSHTEIN(s1, s2) / max_len) * 100); 
  END;

您还可以通过传入当前最大距离来优化levenshtein函数...如果函数超过该距离，则退出而不计算精确距离。

Answer 2

哎哟。这是一个棘手的问题。无论您使用哪种方法，最终都会遇到非常昂贵的查询。我的建议是，在通过拼写检查程序运行数据后，编写一个将数据复制到新表中的应用程序。您还可以使用Java实现查询，读取每条记录，拼写检查字段并进行比较。

幸运的是，一些拼写检查软件已经存在......为了这个目的，您可以查看Jazy或JOrtho。

Answer 3

SOUNDEX（）对您的使用可能有限，但是我从全球酒店名称规范化的经验（引入误译问题的类似问题）中了解到，可靠的解决方案很难创建。

最佳选择是制作标准城市和/或地址列表。我不知道是否有任何与英国境内可用的邮政编码地址文件（http://www.royalmail.com/marketing-services/address-management-unit/address-data-products/postcode-address-file-paf）等同的地方。然而，这对于规范现有数据没有实际意义。

最终，任何可用的选项都需要大量的人工输入，以确保任何标准化都不会错误匹配。

首先我会依赖您可以使用的任何区号（Google告诉我在印度这是一个PIN码？）。最有可能的数据库可以将这些代码映射到区域（http://www.geopostcodes.com/india_zip_codes），这将消除规范化更广泛区域的问题（假设其PIN码是正确的）

关于街道级规范化，如果您希望规范拼写错误/人们如何编写单个街道名称或地点的差异，您可能需要查看SOUNDEX（）或某种仲裁系统。

Answer 4

这取决于您使用的语言，例如您可以在比较字符串之前删除元音

Answer 5

您可以创建一个表格并使用它来帮助进行搜索

 CREATE TABLE `correct_spelling` (
    correctString varchar(100) not null,
    variant       varchar(100) not null,
    primary key   (correctString)
 )

您将使用已知变体（手动）填充表格。虽然这在短期内听起来很疯狂，但从长远来看，它可能是您最好的解决方案。它可能在以后的生活中重复使用。

查询数据库的记录以获得几乎相似的匹配字符串值

5 个答案: