读取大文本文件时出现内存错误

Question

我有一个大约36gb的文本文件，其中包含每行的单词，我正在尝试读取该文件，但它表示内存错误，我不会感到震惊，但我该如何解决它？

我正在尝试这个：

for words in open("hugefile.txt").readlines():
    #do something

我有2GB内存，操作系统：Windows XP，Python 2.7

感谢。

Answer 1

您正在调用readlines()，将整个文件加载到内存中。

迭代文件：

for words in open("hugefile.txt"):

这将逐个遍历行，根据需要读取更多行。