Question

我的目标是从dir删除1000万个临时文件。所以，我试着写一个Python脚本来做这件事。第一个场景看起来像that：

#!/usr/bin/python

import os,sys
dirname = os.getcwd() if len(sys.argv) == 1 else sys.argv[1]
deleteConfirm = raw_input('Delete all files from dir ' + str(dirname) + ' (y/n)? ')
if(deleteConfirm not in ['y','Y']):
    os._exit(0)

counter = 0
flist = os.listdir(dirname)
for file in flist:
    os.remove(os.path.join(dirname, file))
    counter+=1
    if(0==counter%1000):
        sys.stdout.write('\rDeleted %d files' % counter)
        sys.stdout.flush()

print '\nDeleted %d files' % counter

此代码有效，但我发现它每隔10-15秒就会停止一次并且不会在分钟左右工作。例如，前几秒场景快速输出已删除文件的数量 - 它只删除28 000个文件仅3-5秒，但随后它的输出在“已删除的28000个文件”上停止并等待很长时间 - 分钟左右。然后再次输出快速更新，并在几秒钟内再次删除数千个文件。但它又一次停下来等待着什么。我认为这是由于锁定文件，所以我尝试使用python3和多处理模块编写新方案，以删除几个进程中的文件。我认为这可能有所帮助，因为即使一个进程等待某个文件要取消时钟，其他进程也会完成它们的工作。

Here是新脚本：

#!/usr/bin/python3

import os, sys, time
from multiprocessing import Pool
dirname = os.getcwd() if len(sys.argv) == 1 else sys.argv[1]
procNum = 5 if len(sys.argv) < 3 else sys.argv[2]
deleteConfirm = input('Delete all files from dir ' + str(dirname) + ' (y/n)? ')
if(deleteConfirm not in ['y','Y']):
    sys.exit()

def main():
    flist = os.listdir(dirname) 
    count = len(flist)
    if count < 100000:
        counter = 0
        for file in flist:
                os.remove(os.path.join(dirname, file))
                counter+=1
                if(0==counter%1000):
                    sys.stdout.write('\rDeleted %d files' % counter)
                    sys.stdout.flush()
            print('\rDeleted %d files' % counter)
            sys.exit(0)
        else:
            workers = Pool(processes=procNum)       
            result = workers.imap_unordered(delfile,flist)
        workers.close()
        while True:
                    time.sleep(5)
                    completed = result._index
                    if completed == count:
                        print('')
                        break
                    sys.stdout.write('\rRemoved %d files' % result._index)
            workers.join()

def delfile(fname):
    os.remove(os.path.join(dirname,fname))

我尝试了这个新脚本，但它像前一个场景一样每隔几秒就停止一次。我无法弄清楚，为什么会这样。有什么想法吗？

Answer 1

详细信息在Linux文档中，假设您正在使用Linux（其他操作系统可能不同）：请参阅示例https://www.kernel.org/doc/Documentation/sysctl/vm.txt。

Linux通过创建“脏页”来处理对磁盘的写入，“脏页”是等待物理复制到磁盘的内存部分。物理副本后来出现。这就是为什么os.remove()通常非常快的原因：它只会在内存中创建或修改页面并保留物理副本以供日后使用。（如果我们很快再做一个需要更改同一页内存的os.remove()，那么我们就赢了：不需要多次将这个页面写入磁盘。）

通常，名为“pdflush”的守护进程会定期唤醒以执行此写入磁盘。但是如果一个进程真的生成了很多脏页面，那么内核就会在某一时刻停止它（在一个os.remove()调用的随机时间内）并强制写入磁盘现在发生，对于某些部分，待处理的页面它只允许程序在脏页再次低于合理阈值时继续。可能，“pdflush”将立即继续写其余部分。显然，如果你的程序继续生成脏页面，它将再次达到上限并再次暂停。

这是导致过程暂停的原因。这是内核如何工作的副作用。你可以忽略它：在物理上，磁盘一直很忙。

为什么我的脚本会在删除数百万个文件时定期冻结？

1 个答案: