非常大的库只附加动态数组

时间:2013-04-14 01:08:45

标签: bigdata

我正在搜索允许append(element)get(index)的动态数组库。不需要insertset delete

  • 阵列太大,大部分都停留在硬盘上。
  • 较新元素的访问频率高于较旧元素。
  • 每次随机访问都会有许多顺序访问。

这些显示来自远处的数据可以被压缩和存储。

这个数组的大小应该是无限的,它只受硬盘上存储量的限制。

硬盘上的文件也可以被其他进程访问,因为只有1个进程可以完成所有的写操作。

1 个答案:

答案 0 :(得分:0)

如果你可以使用Python(没有提到语言?),PyTables是一个不错的选择。它

  • 使用紧凑的二进制HDF5格式
  • 可以使用blosc
  • 有效地压缩数字数据
  • 是针对性的&有很多optimization tips
相关问题