从块中读取mongodb中的数据

时间:2017-05-30 10:38:45

标签: java mongodb mongodb-query spring-batch batch-processing

我以休息( Spring Java服务器)请求的形式不断收到用户的数据,并将其存储在Mongodb中。

我有一个用例,我的客户说在一周内以文本文件的形式上传此数据,但他们的系统上传限制为200 MB

如果我在一周内收到1GB数据,请考虑。

目前我正在尝试解决我的用例

  • 从MongoDB读取所有数据,其中日期介于START_DATE_OF_WEEK and END_DATE_OF_WEEK

  • 之间
  • 创建小于200MB的文本文件,例如week11_1.txt
    week11_2.txt等等......

我面临的当前挑战如果我解决使用上述方法是如何从MongoDB读取,当数据大小约为190MB时停止,然后创建一个文本文件并上传并重复此操作直到没有特定周的数据未读。

如果您使用上述方法或任何更好的方法帮助我解决此用例,我将非常感谢您。

0 个答案:

没有答案
相关问题