如何巧妙地读取大文件？

Question

我有一个非常大的文件（〜10GB），我想完整地阅读它。为了实现这一目标，我将其切成块。但是，我很难将大文件分割成可利用的部分：我希望将数千行合并在一起，而又不要在中间将它们分开。我在SO上找到了一个经过整理的函数：

{{1}}

我可以指定要读取的字节（此处为4MB），但是这样做时，我的行会在中间被切断，如果删除它，它将读取大文件，这将导致进程停止。我怎样才能做到这一点？ 另外，我文件中的行大小不相等。

Answer 1

以下代码逐行读取文件，上一行获取垃圾回收。

with open('bigfile.txt') as file:
  for line in file:
    print(line)