解析大型XML的最佳和最快捷的方法

时间:2015-05-31 18:21:24

标签: json xml xml-parsing

我并不关心使用什么编程语言,只要它在Linux中受支持。

关键是读取XML文件并将它们转换为json数组,映射键为json key。 我已经尝试过了。 PHP

  • 使用simplexml_load_file
  • 快速解析<​​/ li>
  • 单线程
  • 内存管理不太好

的Python

  • 使用minidom.parse
  • 慢解析
  • 多处理池卡住了
  • 非常棒的内存管理

的NodeJS

  • usibg xml2js
  • 慢解析
  • 使用async进行多点处理
  • 不良的记忆管理

我可以做些什么来加快速度。谢谢。

编辑: 多处理的重要性在于我有50个XML乘以5个目录

这个制作人应该每小时运行一次

1 个答案:

答案 0 :(得分:1)

如果速度和内存是一个问题,如果你不介意一点编码,也许使用流解析器,如xml.saxxml.etree.ElementTree.iterparse