MongoDB有大量的写入解决方案

Question

我作为最后的手段在这里。 我在mongoDB中有两个巨大的集合和一个python脚本，用于抓取一些数据并在数据库中插入/更新数据。 我想提高性能，因为插入记录需要很长时间。 这个速率现在每秒50-60次查询，我希望将其增加到超过200次。 我不知道它是否可能或我必须做些什么来实现它。 另外，我对CPU负担很大。现在有了这么多的查询，CPU负载是95％（我必须在服务器中使用Xeon CPU，90GB内存和SSD硬盘）

我有索引并尝试执行MongoDB建议的所有配置。

有什么建议吗？

感谢。

Answer 1

您可以执行bulk inserts。

查看this mongodb documentation，
可以一次写入多个记录（例如50）而不是1乘1.

为此，调整代码以执行写入操作一旦内存中有大量已爬网记录，这将加快您的流程。

您还可以访问this资源，以便进一步研究上限集合。