h5py是否将整个文件读入内存?

时间:2016-11-06 13:05:14

标签: h5py

h5py是否将整个文件读入内存?

如果是这样,如果我有一个非常大的文件怎么办?

如果没有,如果我每次想要单个数据从硬盘中获取数据,它会非常慢吗?我怎样才能让它更快?

1 个答案:

答案 0 :(得分:6)

  

h5py是否将整个文件读入内存?

不,它没有。特别是,切片(dataset[50:100])允许您将数据集的分数加载到内存中。有关详细信息,请参阅h5py docs

  

如果没有,如果我每次想要一个数据从硬盘中获取数据,它会非常慢吗?

一般来说,hdf5非常快。但是从内存中读取显然比从磁盘读取更快。您决定将多少数据集读入内存(dataset[:]加载整个数据集)。

  

如何让它更快?

如果您想优化性能,则应阅读sections关于分块压缩的内容。还有book详细解释了这些内容(免责声明:我不是作者)。