将多达一百万个文档插入mongodb集合的最佳方法

Question

我需要将具有约100万条记录的Excel文件上传到mongodb。任何人都可以帮忙，以最佳方式将1 millon文档插入mongodb。

Answer 1

由于您正在使用nodejs，所以我建议（我想您已经使用过）您将mongoose作为ODM用作mongoDb的数据映射器。

猫鼬中现在有一个名为

的方法

Model.insertMany(arrayOfObjects,callback);

因此，使用它可以实现您想要的。除了mongoose可以很好地处理之外，因此在mongoose提供的其他方法之外，此方法的执行时间也很短

Answer 2

首先，千万不要将Mongoose节点库用于此类事情，

see performance difference

与本地MongoDB库相比，猫鼬超级慢。

此外，请确保您的表中没有任何索引，因为这可能会减慢速度 向下插入过程。

在您的MongoDB配置中禁用日记，并使用insertMany并确保将writeConcern设置为0，这样，我们将禁用确认响应，这将加快处理速度。

最后确保获得一块优质的SSD硬盘，您就很好了。