Python - 使用cPickle加载以前保存的pickle会占用太多内存吗?
我的pickle文件大约是340MB,但在加载时占用了6gb内存的29%。这似乎有点太多了。 pickle文件是字典的字典。这是否合适?
使用的代码:
import cPickle as pickle
file = pickle.load( file_handle )
由于
答案 0 :(得分:1)
我总是遇到大挑剔和副词的记忆问题。所以我最终通过pprint将我的对象写入文件,然后我通过自定义模块加载器导入这些文件,以便在进程范围内获取数据。工作正常,不会浪费记忆。
答案 1 :(得分:0)
大约1.7GB似乎有点多,但并非不可能。在数据被腌制之前,数据需要多少内存?
取消修改后,数据应该占用与腌制之前相同的内存量,它的磁盘格式有多大并不是那么重要。