存储/版本化大量JSON对象

时间:2017-05-09 13:34:32

标签: json database version-control storage

我们的云服务处理大量的JSON数据(item),这些数据一直在被操纵。它可以每秒快速更改。

目前item是一直在修改的JSON对象。现在我们还需要实现这些项的版本控制。

基本上,每次修改对象的请求到达时,它都会被修改,保存到DB,然后我们还需要将该版本存储在某处。所以稍后您可以说"给我这个项目的第345版"。

我的问题是 - 什么是存储这段历史的理想方式。请注意,我们不需要一旦保存就查询或更改数据,我们只需要在必要时加载它(0.01%的时间) - 基本上数据是毫无意义的blob。

我们正在研究多种方法:

  • 简单文本文件(文件系统)
  • 云存储(例如S3)
  • 版本控制(例如GIT)
  • 数据库(任何)
  • 保险柜(例如来自hashicorp的保险柜)

主要问题是,由于项目每秒更新一次,我们最终会得到大量的blob。考虑 - 每秒更新100个项目 - 一天内有8,640,000条记录。更不用说DB的100rps了。

您对什么是最佳方法有任何建议吗?我们需要它可扩展,快速,可靠,开箱即用的加密将是非常好的。

0 个答案:

没有答案