Question

我有110个PDF，我试图从中提取图像。提取图像后，我想删除任何重复项并删除小于4KB的图像。我这样做的代码如下：

def extract_images_from_file(pdf_file):
    file_name = os.path.splitext(os.path.basename(pdf_file))[0]
    call(["pdfimages", "-png", pdf_file, file_name])
    os.remove(pdf_file)

def dedup_images():
    os.mkdir("unique_images")
    md5_library = []
    images = glob("*.png")
    print "Deleting images smaller than 4KB and generating the MD5 hash values for all other images..."
    for image in images:
        if os.path.getsize(image) <= 4000:
            os.remove(image)
        else:
            m = md5.new()
            image_data = list(Image.open(image).getdata())
            image_string = "".join(["".join([str(tpl[0]), str(tpl[1]), str(tpl[2])]) for tpl in image_data])
            m.update(image_string)
            md5_library.append([image, m.digest()])
    headers = ['image_file', 'md5']
    dat = pd.DataFrame(md5_library, columns=headers).sort(['md5'])
    dat.drop_duplicates(subset="md5", inplace=True)

    print "Extracting the unique images."
    unique_images = dat.image_file.tolist()
    for image in unique_images:
        old_file = image
        new_file = "unique_images\\" + image
        shutil.copy(old_file, new_file)

这个过程可能需要一段时间，所以我开始涉足多线程。随意解释，因为我说我不知道我在做什么。我认为这个过程在提取图像方面很容易并行，但不能重复删除，因为有很多I / O正在进行一个文件，我不知道如何做到这一点。所以这是我对并行过程的尝试：

if __name__ == '__main__':
    filepath = sys.argv[1]
    folder_name = os.getcwd() + "\\all_images\\"
    if not os.path.exists(folder_name):
        os.mkdir(folder_name)
    pdfs = glob("*.pdf")
    print "Copying all PDFs to the images folder..."
    for pdf in pdfs:
        shutil.copy(pdf, ".\\all_images\\")
    os.chdir("all_images")
    pool = Pool(processes=8)
    print "Extracting images from PDFs..."
    pool.map(extract_images_from_file, pdfs)
    print "Extracting unique images into a new folder..."
    dedup_images()
    print "All images have been extracted and deduped."

在提取图像时，一切似乎都运行良好，但随后一切都变得混乱。所以这是我的问题：

1）我是否正确设置了并行处理？ 2）是否继续尝试使用dedup_images()上的所有8个处理器？
3）我有什么遗失和/或没有做错吗？

提前致谢！

编辑这就是我的意思＆＃34; haywire＆＃34;。这些错误始于一堆这样的行：

I/O Error: Couldn't open image If/iOl eE r'rSourb:p oICe/onOua l EdNrner'wot r Y:oo prCekon u Cliodmunan'gttey   of1pi0e
l2ne1  1i'4mS auogbiepl o2fefinrlaee e N@'egSwmu abYipolor ekcn oaCm o Nupentwt  y1Y -o18r16k11 8.C1po4nu gn3't4
y7 5160120821143  3p4t7I 9/49O-8 88E78r81r.3op rnp:gt ' C
3o-u3l6d0n.'ptn go'p
en image file 'Ia/ ON eEwr rYoorr:k  CCIoo/uuOln dtEnyr' rt1o 0ro2:p1 e1Cn4o  uiolmidalng2'eft r m '
ai gpceoo emfn iapl teN  e1'w-S 8uY6bo2pr.okpe nnCgao' u
Nnetwy  Y1o0r2k8 1C4o u3n4t7y9 918181881134  3p4t7 536-1306211.3p npgt'
4-879.png'
I/O Error: CoulId/nO' tE rorpoern:  iCmoaugled nf'itl eo p'eub piomeangae  fNielwe  Y'oSrukb pCooeunnat yN e1w0 2Y8o1r
4k  3C4o7u9n9t8y8 811032 1p1t4  3o-i3l622f pt 1-863.png'

然后用这样的多行来获得更多可读性：

I/O Error: Couldn't open image file 'pt 1-864.png'
I/O Error: Couldn't open image file 'pt 1-865.png'
I/O Error: Couldn't open image file 'pt 1-866.png'
I/O Error: Couldn't open image file 'pt 1-867.png'

这会重复一段时间，在乱码错误文本和可读文本之间来回传递。

最后，它到达了这里：

Deleting images smaller than 4KB and generating the MD5 hash values for all other images...
Extracting unique images into a new folder...

这意味着代码会重新启动并继续执行该过程。可能出现什么问题？

Answer 1

是的，Pool.map接受一个带1个参数的函数，然后是一个列表，每个元素作为参数传递给第一个函数。
不，因为你在这里写的所有东西都在原始过程中运行，除了extract_images_from_file()的主体。此外，我还要指出您正在使用8个进程，而不是进程。如果您碰巧拥有8核Intel CPU，并且启用了超线程，您可以同时运行16个进程。
对我来说看起来不错，但是，如果extract_images_from_file()抛出异常，它将会破坏整个Pool，这可能不是你想要的。为了防止这种情况，你可以尝试一下这个块。

＆＃34; haywire＆＃34;的性质是什么？你正在处理？我们能看到异常文本吗？

Answer 2

你的代码基本上没问题。

乱码文本是尝试将不同版本的I/O Error消息交错到控制台的所有进程。 pdfimages命令正在生成错误消息，可能是因为当您同时运行两个时它们发生冲突，可能是临时文件冲突，或者两者都使用相同的文件名或类似的冲突。

尝试为每个单独的pdf文件使用不同的图像根目录。

如何在Python中正确使用多处理模块？

2 个答案: