如何存储大量数据(整数)?

时间:2016-11-09 13:40:34

标签: sql database matrix optimization bigdata

我有一组数据。数据集中的每个元素由一个矩阵(8x4)和48个整数组成。

我需要存储大约10 ^ 20个这样的元素。

矩阵中的元素只能是元素{0,1,2,3,4}

中的一个

目前我打算将它存储为一个包含50列的SQL数据库。

  • ID [INT]
  • MATRIX(矩阵元素存储为单个整数)[BIGINT]
  • 和48个整数列[INT]

我已经尝试生成一个由1000万个元组组成的虚拟数据库,我有一个大小约为35 MB的数据库

但这是不可接受的,因为最终的数据库大小为35 x 10 ^ 13 MB

矩阵的bigint目前是这样确定的,对于矩阵

1    2    3    4
1    2    3    4
0    0    0    0
3    2    1    4
1    0    3    1
4    0    3    2
0    4    2    4
1    1    0    2

MATRIX列中的值将是 12341234000032141031403204241102

问题1:

  • 有更好的方法来存储这样的数据吗? (数据模型)

问题2:

  • 有没有办法以更节省空间的方式表示这个矩阵?

问题3:

  • 除了SQL数据库之外还有其他方法可以表示这些数据,这有助于我节省空间吗?我现在应该学习什么来解决这个问题?

0 个答案:

没有答案
相关问题