如何提高XML到Mongo加载的性能?

时间:2019-02-02 10:56:04

标签: python xml mongodb

我有一堆xml文件,每个文件大小都超过20 GB。每个文件大约有30-40百万个具有深层嵌套数据的产品。这些必须加载到MongoDB进行进一步处理。我可以通过哪些方法来提高性能?将一对一插入转换为批处理,可能是并行过程吗?这是我的基本代码

for event, elem in etree.iterparse("in.xml", events=('start','end')):
  if elem.tag == 'item_data':
      if event == "end" :
              jsonString = xmltodict.parse(etree.tostring(elem))
              result = feeds.insert_one(jsonString)
              elem.clear()

0 个答案:

没有答案