Python:Rabin-Karp算法哈希

时间:2014-03-06 06:37:15

标签: python string algorithm pattern-matching

我正在实施Rabin-Karp算法以获得乐趣。我遇到了这个伪代码:

    RABIN -KARP -MATCHER (T, P, d, q)
    1 n = T.length
    2 m = P.length
    3 h = d^(m-1) mod q
    4 p=0
    5 t= 0
    6 for i = 1 to m
    / preprocessing
    /
    7 p = (dp + P [i]) mod q
    8 t = (dt + T [i]) mod q
    9 for s = 0 to n-m
    / matching
    /
    10     if p == t
    11         if P [1... m] == T [s + 1...s + m]
    12             print “Pattern occurs with shift” s
    13     if s < n-m
    14         t  = (d(t-T[s + 1]h) + T [s + m + 1]) mod q

我在Python 2.7中实现如下:

def Rabin_Karp_Matcher(text, pattern, d, q):
    n = len(text)
    m = len(pattern)
    h = pow(d,m-1)%q
    p = 0
    t =0
    result = []
    for i in range(m): # preprocessing
        p = (d*p+ord(pattern[i]))%q
        t = (d*t+ord(text[i]))%q
    for s in range(n-m):
        if p == t: # check character by character
            match = True
            for i in range(m):
                if pattern[i] != text[s+i]:
                    match = False
                    break
            if match:
                result = result + [s]
        if s < n-m:
                t = (d*(t-ord(text[s+1])*h)+ord(text[s+m]))%q #index out of bounds here
    return result

其中result是一个包含模式文本索引的列表。

我的代码未能在3141592653589793中找到26  我怀疑它与我的伪代码第14行定义的哈希码有关。任何人都可以帮忙解决这个问题。

我通过了以下参数:

P =“26” T =“3141592653589793” d = 257 q = 11

P和T必须是字符串/字符数组

2 个答案:

答案 0 :(得分:5)

以下是您的代码的工作版本:

def Rabin_Karp_Matcher(text, pattern, d, q):
    n = len(text)
    m = len(pattern)
    h = pow(d,m-1)%q
    p = 0
    t = 0
    result = []
    for i in range(m): # preprocessing
        p = (d*p+ord(pattern[i]))%q
        t = (d*t+ord(text[i]))%q
    for s in range(n-m+1): # note the +1
        if p == t: # check character by character
            match = True
            for i in range(m):
                if pattern[i] != text[s+i]:
                    match = False
                    break
            if match:
                result = result + [s]
        if s < n-m:
            t = (t-h*ord(text[s]))%q # remove letter s
            t = (t*d+ord(text[s+m]))%q # add letter s+m
            t = (t+q)%q # make sure that t >= 0
    return result
print (Rabin_Karp_Matcher ("3141592653589793", "26", 257, 11))
print (Rabin_Karp_Matcher ("xxxxx", "xx", 40999999, 999999937))

输出结果为:

[6]
[0, 1, 2, 3]

在第一步,检查是否text[0..m] == pattern。在第二步,您要检查是否text[1..m+1] == pattern。因此,您从哈希中删除text[0](当前它与预先计算的h相乘):t = (t-h*ord(text[s]))%q。然后,向其添加text[m]t = (t*d+ord(text[s+m]))%q。在下一步,您删除text[1]并添加text[m+1],依此类推。 t = (t+q)%q行是q行,因为模数为(-q; 0]的负数会产生[0; q)范围内的余数,我们希望它在n-m+1范围内。

请注意,您要检查总共n-m个子字符串,而不是for s in range(n-m+1),因此正确的循环为h = pow(d,m-1)%q。由第二个例子检查(在“xxxxx”中找到“xx”)。

另外值得注意的是:

  1. 如果m很大,则行q可能会太慢。最好在每次m-2次乘法后以text="a"*100000为模进行结果。

  2. 在最坏的情况下,该算法仍为O(nm)。使用pattern="a"*50000q,它将找到50001个位置,其中文本的子字符串与模式匹配,并且它将逐个字符地检查它们。如果您希望代码在极端情况下快速运行,则应跳过逐字符比较并找到处理误报的方法(即哈希值相等但字符串不相等)。选择一个大的素数{{1}}可能有助于将误报的可能性降低到可接受的水平。

答案 1 :(得分:0)

好的,答案是你需要缩进“for s”循环:

def Rabin_Karp_Matcher(text, pattern, d, q):
    n = len(text)
    m = len(pattern)
    h = pow(d,m-1)%q
    p = 0
    t =0
    result = []
    for i in range(m): # preprocessing
        p = (d*p+ord(pattern[i]))%q
        t = (d*t+ord(text[i]))%q

        for s in range(n-m):
            if p == t: # check character by character
                match = True
                for i in range(m):
                    if pattern[i] != text[s+i]:
                        match = False
                        break
                if match:
                    result = result + [s]
            if s < n-m:
                    t = (d*(t-ord(text[s+1])*h)+ord(text[s+m]))%q #index out of bounds here


    return result

这给了我答案6,这就是你想象的那个。有趣的算法人。