最有效的数字列表反序列化

Question

我目前使用this serialization library将数据另存为Pair<double[], Double>到计算机上的目录中。唯一要序列化的数据是数组形式的数值。

我已经将超过5 GB的原始数字数据保存到该目录，并且我希望能够不断添加更多。我正在尝试对系统进行过时的验证，以更有效地存储数据（以用于数据非常匮乏的神经网络）。

是否有比序列化Pair<double[], Double>对象更好的存储数据的方法？我应该将所有内容保存为.txt还是CSV文件？我需要尽我所能，以最大程度地减少硬盘驱动器上的内存占用并减少反序列化时间。有什么建议吗？

Answer 1

以原始格式存储它。您可以使用以下给定的记录格式：

1. n：短—>该记录中有多少个双精度值

2. 后跟“ n”个双精度值，每个占8个字节。该对中的前n-1个吃了数组元素，最后一个是值

您可以为此目的使用FileOutputStream。

这将通过不存储有关配对类的不必要的元数据来节省空间。