Question

我的XML文件包含超过30万个条目，我的脚本每天都需要解析这些条目..

xml的结构为：

<root>
     <item>
        <proper1></proper1>
        <proper2></proper2>
    </item>
</root>

我需要将大的XML文件拆分成较小的文件，以便我的PHP可以运行它们，目前它无法处理它因为它使用了太多的内存。任何人都可以帮助我吗？

Answer 1

很大程度上取决于您的XML文件结构。

例如，您可以执行以下操作（假设结构是您发布的结构，包含回车，否则事情变得更复杂）：

行斩版本：如果格式化为“恰到好处”，快速切割大型XML文件
在崩溃和刻录时如果文件格式不正确

$fp = fopen(XMLFILE, 'r');
$decl = fgets($fp, 1024);  // Drop the XML declaration '<?xml...?>'
$root = fgets($fp, 1024);  // Drop the root declaration
$n = 1;
while(!feof($fp)) {
    $tag = fgets($fp, 1024);
    if ('<item>' === $tag) {
        isset($gp) || trigger_error('Unexpected state');
        $gp = fopen("chunk{$n}.xml", 'w'); $n++;
        // Write the header of the file we saved from before
        fwrite($gp, $decl);
        fwrite($gp, $root);
    } else if ('</item>' === $tag) {
        fwrite($gp, $tag);
        fwrite($gp, '</root>');
        fclose($gp); unset($gp);
        continue;
    }
    if (!isset($gp)) {
        if ('</root>' === $tag /* EOF */) {
            break;
        } else {
            trigger_error('Unexpected state 2');
        }
    }
    fwrite($gp, $tag);
}
fclose($fp);
isset($gp) || trigger_error('Unexpected state 3');

这有一个主要的好处，就是允许你“回收”你的XML解析脚本（事实上，你可以在关闭$ gp后立即调用XML解析脚本，甚至更好，不要写入任何文件，只是入队写入缓冲区，并使用该缓冲区调用脚本。）

另一个优点是能够在不同的子服务器之间“外包”文件，例如，由于DNS解析，DB调用，HTTP / SOAP调用，需要反馈等，XML处理很长。在这种情况下，您可以根据（$ n％NUM_CLIENTS）将文件保存在不同的子目录中，并且每个客户端可以一次获取一个文件，处理并删除它并继续。

然而，最好的方法是重写脚本，以便不在内存中加载XML，而是使用XML Parser支持一次解析一下。

折衷方案是使用XML Parser对XML文件进行切片并将其提供给现有脚本，“按原样”。

XMLparse版本：有效切片和切割大型XML文件
而不用担心XML实际上是如何放在一起的

xmlparse函数通过回调工作，即您将数据提供给入口点（xml_parse），然后分析数据，拆分数据，将各个块路由到您定义的相应子函数。 xml_parse将处理编码和空格，从而使您无需处理相同的内容，这是上述代码中最大的缺点之一。 xmlparse核心本身不保存数据，因此即使对于千兆字节（或太字节）文件，我们也可以实现恒定内存实现。

因此，让我们看看如何重写XMLParser的代码，并通过分割给定标记的一定数量的重复来对大文件进行分块。

即输入文件：

 <root><item>(STUFF OF ITEM1)</item><item>(STUFF OF ITEM2)/item>....ITEM1234...</root>

输出文件：

 FILE1: <root><item>(1)</item><item>(2)</item>...(5)</root>
 FILE2: <root><item>(6)</item><item>(7)</item>...(10)</root>
 ...

我们这样做是通过编写一个XMLparser，它将提取N（此处为N = 5）项的每个“块”并将其提供给块处理器，块处理器在接收到...将它包装在标签之间，添加XML头，从而生成一个文件，其原始大文件的语法相同，但只有五个项目。

要保存在单独的文件中，我们会跟踪块号。

    function processChunk($lastChunk = false) {
         GLOBAL $CHUNKS, $PAYLOAD, $ITEMCOUNT;
         if ('' == $PAYLOAD) {
             return;
         }
         $xp = fopen($file = "output-$CHUNKS.xml", "w");
         fwrite($xp, '<?xml version="1.0"?>'."\n");
             fwrite($xp, "<root>");
                 fwrite($xp, $PAYLOAD);
             $lastChunk || fwrite($xp, "</root>");
         fclose($xp);
         print "Written {$file}\n";
         $CHUNKS++;
         $PAYLOAD    = '';
         $ITEMCOUNT  = 0;
    }

xmlparse函数需要回调：一个接收标记OPENING，一个标记CLOSING，一个获取内容，另一个获取任何内容。我们对任何事情都不感兴趣，所以我们只填写前三个处理程序。

    function startElement($xml, $tag, $attrs = array()) {
        GLOBAL $PAYLOAD, $CHUNKS, $ITEMCOUNT, $CHUNKON;
        if (!($CHUNKS||$ITEMCOUNT)) {
            if ($CHUNKON == strtolower($tag)) {
                $PAYLOAD = '';
            }
        }
        $PAYLOAD .= "<{$tag}";
        foreach($attrs as $k => $v) {
            $PAYLOAD .= " {$k}=\"" .addslashes($v).'"';
        }
        $PAYLOAD .= '>';
    }

    function endElement($xml, $tag) {
        GLOBAL $CHUNKON, $ITEMCOUNT, $ITEMLIMIT;
        dataHandler(null, "</{$tag}>");
        if ($CHUNKON == strtolower($tag)) {
             if (++$ITEMCOUNT >= $ITEMLIMIT) {
                 processChunk();
             }
        }
    }

    function dataHandler($xml, $data) {
        GLOBAL $PAYLOAD;
        $PAYLOAD .= $data;
    }

    function defaultHandler($xml, $data) {
        // a.k.a. Wild Text Fallback Handler, or WTFHandler for short.
    }

为清晰起见，createXMLParser函数是独立的

    function createXMLParser($CHARSET, $bareXML = false) {
            $CURRXML = xml_parser_create($CHARSET);
            xml_parser_set_option( $CURRXML, XML_OPTION_CASE_FOLDING, false);
            xml_parser_set_option( $CURRXML, XML_OPTION_TARGET_ENCODING, $CHARSET);
            xml_set_element_handler($CURRXML, 'startElement', 'endElement');
            xml_set_character_data_handler($CURRXML, 'dataHandler');
            xml_set_default_handler($CURRXML, 'defaultHandler');
            if ($bareXML) {
                xml_parse($CURRXML, '<?xml version="1.0"?>', 0);
            }
            return $CURRXML;
    }

最后是喂食循环，打开Big File先生并将其发送到研磨机。

    function chunkXMLBigFile($file, $tag = 'item', $howmany = 5) {
         GLOBAL $CHUNKON, $CHUNKS, $ITEMLIMIT;

         // Every chunk only holds $ITEMLIMIT "$CHUNKON" elements at most.
         $CHUNKON   = $tag;
         $ITEMLIMIT = $howmany;

         $xml = createXMLParser('UTF-8', false);

         $fp = fopen($file, 'r');
         $CHUNKS  = 0;
         while(!feof($fp)) {
              $chunk = fgets($fp, 10240);
              xml_parse($xml, $chunk, feof($fp));
         }
         xml_parser_free($xml);

         // Now, it is possible that one last chunk is still queued for processing.
         processChunk(true);
    }

然后我们调用机器：“将test.xml拆分为5个项目标签实例”

    ChunkXMLBigFile('test.xml', 'item', 5);

这个实现的开始速度大约是开始时愚蠢的chunker的五倍，但可以处理同一行中的标记，甚至可以扩展以验证XML。

Answer 2

请查看这篇文章PHP XML Parsing

SAX解析
XML阅读器XMLReader拉解析器

将是最适合这项工作的

阅读上面的文章尝试一些代码，你一定会得到这个

如何使用PHP将大型XML文件拆分为smaller？

2 个答案: