Python - 使用cPickle加载以前保存的pickle会占用太多内存吗?

时间:2010-07-21 18:41:19

标签: python memory-management pickle

Python - 使用cPickle加载以前保存的pickle会占用太多内存吗?

我的pickle文件大约是340MB,但在加载时占用了6gb内存的29%。这似乎有点太多了。 pickle文件是字典的字典。这是否合适?
使用的代码:

import cPickle as pickle

file = pickle.load( file_handle )

由于

2 个答案:

答案 0 :(得分:1)

我总是遇到大挑剔和副词的记忆问题。所以我最终通过pprint将我的对象写入文件,然后我通过自定义模块加载器导入这些文件,以便在进程范围内获取数据。工作正常,不会浪费记忆。

答案 1 :(得分:0)

大约1.7GB似乎有点多,但并非不可能。在数据被腌制之前,数据需要多少内存?

取消修改后,数据应该占用与腌制之前相同的内存量,它的磁盘格式有多大并不是那么重要。

相关问题