Question

我已阅读此帖Python multiprocessing: sharing a large read-only object between processes?，但仍不确定如何继续下一步。

这是我的问题：

我正在使用multiprocessing分析数百万个字符串的数组，并且需要针对包含大约200万（可能更高）键的大字典来检查每个字符串。它的值是定制的Python类的对象，称为Bloomfilter（因此它们不仅仅是简单的int或float或数组），它们的大小从几个字节到1.5 Gb不等。对每个字符串的分析基本上是检查字符串是否在字典中的特定数量的bloomfilters中。它取决于字符串本身来决定哪些bloomfilters是相关的。该词典是30G sqlite3 db的转换。动机是将整个sqlite3 db加载到内存中以加快处理速度，但我还没有找到一种方法来有效地共享dict。我的系统中有大约100G内存。

以下是我尝试过的内容：

每个字符串的分析都是CPU绑定的，所以我选择多处理而不是多线程。关键是如何在不复制的情况下在流程中共享大字典。 multiprocess.Value和multiprocessing.Array无法处理像dict这样的复杂对象。我已经尝试了multiprocessing.Manager()，但由于dict太大而导致IOError: bad message length错误。我也尝试在localhost上使用像Redis这样的内存数据库，但是在获取后用于构造Bloomfilter的bitarray也太大了，无法适应，这让我觉得在进程之间传递大消息也是如此很贵（是吗？）

我的问题：

在不同进程（或线程，如果有办法绕过GIL）之间共享这样的字典的正确方法是什么？如果我需要使用数据库，我应该使用哪一个？我需要非常快速的读取，数据库应该能够存储非常大的值。（虽然我不认为数据库可以工作，因为传递非常大的值不会起作用，对吧？如果我错了请纠正我）

Answer 1

事实证明@Max和@Dunes都是正确的，但我不需要直接使用os.fork（）或全局变量。一些伪代码如下所示，只要在big_dict中未修改worker，内存中似乎只有一个副本。但是，我不确定这种写时复制功能是否在类似unix的OS世界中是通用的。我正在运行我的代码的操作系统是 CentOS版本5.10（最终版）。

from multiprocessing import Process, Lock

def worker(pid, big_dict, lock):
    # big_dict MUST NOT be modified in the worker because of copy-on-write
    pass
    # do some heavy work

def main():
    big_dict = init_a_very_big_dict()

    NUM_CPUS = 24
    lock = Lock()
    procs = []
    for pid in range(NUM_CPUS):
        proc = Process(target=worker, args=(pid, big_dict, lock))
        proc.daemon = True
        procs.append(proc)
        proc.start()

    for proc in procs:
        proc.join()

如何在Python中的进程之间共享一个非常大的字典

1 个答案: