每月管理100万条记录的插入/选择

时间:2019-01-25 08:04:16

标签: mongodb scalability

我正在处理一个实时供稿,它可以提供实时数据。
记录数高达每月 100万,我需要根据这些记录提供报告。

我选择Mongodb是因为它在获取记录方面表现出色。

由于 1200万条记录,我在管理数据方面面临问题。
我需要每个月都保持明智吗?
我应该每月使用不同的收藏集吗?

对于Google Analytics(分析)报告以及所有内容,有很多选择查询。

1 个答案:

答案 0 :(得分:1)

这取决于您要如何使用数据,由您决定。大量数据没有错,您只需要使用与缓存工作相同的逻辑来限制繁重的查询(更轻松的访问,但更新更少)。常见的方法是:

您有一个“原始数据”表,其中包含数百万条记录。该表非常大,但包含“纯”数据。您希望尽可能少地访问此表,因为它会很慢。

下表的准确性较低,并且汇总了您需要的信息。您的情况可能是一个月结束后创建的“ month_summery”。这样一来,您仍然拥有完整的数据集,而且还有一张带有相关事件信息的小表(例如num行,sumOfX,averageOfY等)。现在,您的查询量很大,每月一次,您可以根据其统计信息。

如果您需要每周提供数据,则可以创建一个“ week_summery”表。或者,如果您每天需要统计数据,那么每天就可以统计,每年365个条目仍然远远少于数百万。