Python以最快的方式将大量小文件读入内存?

时间:2014-11-29 12:25:41

标签: python

我正在尝试阅读存储在磁盘上的数千个html文件。

有没有办法做得更好;

for files in os.listdir('.'):
    if files.endswith('.html') :
        with (open) files as f:
            a=f.read()
            #do more stuffs

1 个答案:

答案 0 :(得分:1)

对于类似的问题,我使用了这段简单的代码:

import glob
for file in glob.iglob("*.html"):
    with open(file) as f:
        a = f.read()

iglob不会同时存储所有文件,这对于一个庞大的目录来说是完美的 完成后,修复程序将关闭文件,构造"with-open"为您确定。