Question

我有一个非常大的大约45 GB的xml文件，我试图解析并创建一个数据框。 xml具有相当简单的结构，如下所示。当类型为输入链接或左侧链接时，我想阅读标记<event>下的属性。

<?xml version="1.0" encoding="utf-8"?>
<events version="1.0">
    <event time="10800.0" type="actend" person="9982471" link="21225" actType="home"  />
    <event time="10800.0" type="departure" person="9982471" link="21225" legMode="car"  />
    <event time="10800.0" type="PersonEntersVehicle" person="9982471" vehicle="9982471"  />
    <event time="10800.0" type="actend" person="9656271" link="21066" actType="home"  />
    <event time="10833.0" type="entered link" person="4250461" link="24329" vehicle="4250461"  />
    <event time="10835.0" type="left link" person="1662941" link="29242" vehicle="1662941"  />
    <event time="10835.0" type="entered link" person="1662941" link="29239" vehicle="1662941"  />
    <event time="10836.0" type="left link" person="7651702" link="7359" vehicle="7651702"  />
    <event time="10836.0" type="entered link" person="7651702" link="7407" vehicle="7651702"  />
    <event time="10840.0" type="left link" person="8909152" link="5664" vehicle="8909152"  />
</events>

我已尝试过基于DOM的xmlparse()函数，但由于内存问题，它没有用处。然后，我尝试了一个基于SAX的代码（如下所示），但这花了太长时间。例如，要读取1％的样本并从中创建数据框，我花了大约5个小时。因此，要对完整数据执行相同操作，我需要大约20天（假设它可以线性缩放）。你能帮我解决这个问题吗？以下是指向very small sample，1% sample，5% sample和full data的链接。

这是我使用的SAX代码。

library(XML)

branchFunction <- function() {
  store <- new.env() 
  new_counter <- (function() {
    i <- 0
    function() { 
      i <<- i + 1
      i
    }
  })()
  func <- function(x, ...) {
    ns <- getNodeSet(x,path = "//event[@type='left link' or @type='entered link']")
    value <- lapply(ns, xmlAttrs)
    store[[toString(new_counter())]] <- value
  }
  getStore <- function() { as.list( store ) }
  list(event = func, getStore=getStore)
}

myfunctions <- branchFunction()

xmlEventParse(file = "percent1.gz", handlers = NULL, branches = myfunctions)
l <- myfunctions$getStore()
l <- unlist(l, recursive = FALSE)
df <- data.frame(matrix(unlist(l), nrow=length(l), byrow=T),stringsAsFactors=FALSE)
colnames(df) <- c("time", "type", "person", "link", "carid")

输出必须如下所示

> head(df)
     time         type  person  link   carid
1 10934.0 entered link 9656271 16260 9656271
2 10935.0    left link 8909152  6014 8909152
3 10935.0 entered link 8909152  6034 8909152
4 10936.0    left link 1504062 25541 1504062
5 10936.0 entered link 1504062 25384 1504062
6 10936.0    left link 3055801 31464 3055801

Answer 1

使用Saxon，以下XSLT 3.0样式表在14.5秒内处理了您的percent1样本（413Mb）：

<xsl:stylesheet version="3.0" 
  xmlns:xsl="http://www.w3.org/1999/XSL/Transform"
  xmlns:xs="http://www.w3.org/2001/XMLSchema"
  exclude-result-prefixes="xs"
  expand-text="yes">

  <xsl:template name="xsl:initial-template">
    <xsl:stream href="percent1.xml">
      <xsl:for-each select="/events/event[@type=('entered link', 'left link')]">
        {position()} {@time} {@person} {@link} {@person}
      </xsl:for-each>
    </xsl:stream>
  </xsl:template>

</xsl:stylesheet>

内存使用量为13Mb（随着文件大小的增加，它不会增加）。整个数据集的外推时间约为25分钟。

Answer 2

要扩展@ MichaelKay的答案，请考虑使用XSLT解决方案。作为信息，XSLT是专用的声明性编程语言，专门用于将XML文件转换为各种格式，包括其他XML，HTML，甚至文本（txt，csv等），以满足最终用途需求，如R数据帧。

大多数通用语言，包括C＃，Java，Perl，Python，PHP，VB都配备了XSLT 1.0库 - 类似Java的XSLT 2.0和3.0库，如Saxon和Xalan。此外，像PowerShell和Bash这样的命令行解释器可以运行XSLT。 R甚至使用libxslt gnome模块有限的Sxslt库，但仅限于Linux机器。

R可以使用system()将其他脚本和/或可执行文件作为子进程调用，如下所示。对于大型XML文件，请考虑转换为csv文件以便R导入（删除任何解析需求）：

XSLT （通常在外部保存为.xsl或.xslt）

<xsl:transform xmlns:xsl="http://www.w3.org/1999/XSL/Transform" version="1.0">
<xsl:output version="1.0" encoding="UTF-8" indent="yes"  method="text"/>
<xsl:strip-space elements="*"/>

  <!-- Identity Transform -->
  <xsl:template match="@*|node()" priority="1">
    <xsl:copy>
      <xsl:apply-templates select="@*|node()"/>
    </xsl:copy>
  </xsl:template>

  <!-- Comma-separated values -->
  <xsl:template match="event[@type=('entered link','left link')]" priority="2">    
    <xsl:value-of select="concat(@time, ',',
                                 @type, ',',
                                 @person, ',',
                                 @link, ',',
                                 @vehicle)"/><xsl:text>&#xa;</xsl:text>
  </xsl:template>

</xsl:transform>

CSV 输出（使用上面的示例）

#10833  entered link    4250461 24329 4250461
#10835  left link       1662941 29242 1662941
#10835  entered link    1662941 29239 1662941
#10836  left link       7651702 7359  7651702
#10836  entered link    7651702 7407  7651702
#10840  left link       8909152 5664  8909152

R 脚本

# COMMAND LINE CALL(S)
# PYTHON SCRIPT (USING LXML MODULE)
system('python dir/XSLT_Transform_Script.py')  
# SAXON HE (JAVA PLATFORM)
system('java -jar dir/saxonhe.jar -s:Input.xml -xsl:XSLTscript.xsl -o:Output.csv')  
# BASH UNIX XSLTPROC
system('xsltproc XSLTscript.xsl Input.xml -o Output.csv')  
# POWERSHELL WINDOWS SCRIPT W/ ARGS
system('Powershell.exe -File XSLTransform_Script.ps1 Input.xml, XSLTScript.xsl, Output.csv')

# DATA FRAME IMPORT
df <- read.csv("Output.csv", header=FALSE)
colnames(df) <-  c("time", "type", "person", "link", "carid")

R当DOM和SAX解析器都失败时该怎么办？

2 个答案: