将集合中的所有文档从mongo移动到azure blob存储

Question

我正在尝试使用c＃和mongo 1.9.1驱动程序将mongo集合中的所有文档移动到预定的azure webjob中的azure blob存储。

我不想在webjob的内存中保存所有100000个文档。有没有更好的方法可能像从mongo批量检索文件？或者我可以研究一种完全不同的方法吗？

Answer 1

您可以让一个Web作业流程负责单独排队每个文档。此Web作业只需要每个文档的唯一标识符，以便它可以将其作为消息推送到Azure存储队列。您可以根据需要将此Web作业配置为计划或手动。

然后有另一个迁移单个文件的Web作业。您可以将此Web作业设置为连续，以便只要队列中有要读取的消息，它就会开始处理它们。默认情况下，Web作业将从队列中并行化16个项目。这是可配置的。