CouchDB的数据归档策略

时间:2018-08-21 21:22:15

标签: amazon-web-services bigdata couchdb object-storage amazon-glacier

背景: 在大多数开发人员像我一样爱上CouchDB的情况下,CouchDB具有巨大的优势。但是,当涉及到数据归档时,没有太多可用的资源/功能。开源版本似乎缺少这些基本功能。

每个数据库都会随着时间增长,对于那些将数据作为资源进行收集的人来说,在启用复制的情况下将数年的数据保留在benchDB实例上可能是一种非常低效的解决方案。例如,如果我们在一个 随着时间的推移,EC2实例数据库的增长可能是一个代价高昂的解决方案。

问题: 由于多年来的数据不经常访问,因此没有必要将其保存在ouchDB中。同样,这也会导致大数据集的视图索引时间成指数增长。对于这个最佳解决方案,我可以想到的是将一些已有多年历史的数据卸载到具有成本效益的存储介质中。

CATCH :但是,这些数据需要按需检索。例如:查看多年来的趋势或获取最近10年的所有交易的总金额,等等。

这些是我能想到的一些方法。

  1. 将已分区的SofaDB JSON文档存储在低成本存储中 媒体,例如Amazon Glacier并根据需要检索数据。 但是,为了对此数据执行map-reduce,我们需要 将数据重新加载到CouchDB中,效率很低

  2. 将旧数据加载到S3中并使用AWS Athena进行查询, 但是,采用方法无法实现图减少。这只是 用于查询数据。

我确定长沙发数据库用户已经在某一时刻遇到了这个问题。还有哪些其他解决方案/方法?感谢您的帮助。

0 个答案:

没有答案