Question

目前我正在尝试使用SAX Parser但是大约3/4通过文件它只是完全冻结，我尝试分配更多的内存等但没有得到任何改进。

有没有办法加快速度？一个更好的方法？

将它剥离为裸骨，所以我现在有以下代码，当在命令行中运行时，它仍然没有我想要的那么快。

使用“java -Xms-4096m -Xmx8192m -jar reader.jar”运行它我得到了超出第700000条的GC开销限制

主：

public class Read {
    public static void main(String[] args) {       
       pages = XMLManager.getPages();
    }
}

XMLManager

public class XMLManager {
    public static ArrayList<Page> getPages() {

    ArrayList<Page> pages = null; 
    SAXParserFactory factory = SAXParserFactory.newInstance();

    try {

        SAXParser parser = factory.newSAXParser();
        File file = new File("..\\enwiki-20140811-pages-articles.xml");
        PageHandler pageHandler = new PageHandler();

        parser.parse(file, pageHandler);
        pages = pageHandler.getPages();

    } catch (ParserConfigurationException e) {
        e.printStackTrace();
    } catch (SAXException e) {
        e.printStackTrace();
    } catch (IOException e) {
        e.printStackTrace();
    }


    return pages;
    }    
}

页面处理器

public class PageHandler extends DefaultHandler{

    private ArrayList<Page> pages = new ArrayList<>();
    private Page page;
    private StringBuilder stringBuilder;
    private boolean idSet = false;

    public PageHandler(){
        super();
    }

    @Override
    public void startElement(String uri, String localName, String qName, Attributes attributes) throws SAXException {

        stringBuilder = new StringBuilder();

         if (qName.equals("page")){

            page = new Page();
            idSet = false;

        } else if (qName.equals("redirect")){
             if (page != null){
                 page.setRedirecting(true);
             }
        }
    }

     @Override
     public void endElement(String uri, String localName, String qName) throws SAXException {

         if (page != null && !page.isRedirecting()){

             if (qName.equals("title")){

                 page.setTitle(stringBuilder.toString());

             } else if (qName.equals("id")){

                 if (!idSet){

                     page.setId(Integer.parseInt(stringBuilder.toString()));
                     idSet = true;

                 }

             } else if (qName.equals("text")){

                 String articleText = stringBuilder.toString();

                 articleText = articleText.replaceAll("(?s)<ref(.+?)</ref>", " "); //remove references
                 articleText = articleText.replaceAll("(?s)\\{\\{(.+?)\\}\\}", " "); //remove links underneath headings
                 articleText = articleText.replaceAll("(?s)==See also==.+", " "); //remove everything after see also
                 articleText = articleText.replaceAll("\\|", " "); //Separate multiple links
                 articleText = articleText.replaceAll("\\n", " "); //remove new lines
                 articleText = articleText.replaceAll("[^a-zA-Z0-9- \\s]", " "); //remove all non alphanumeric except dashes and spaces
                 articleText = articleText.trim().replaceAll(" +", " "); //convert all multiple spaces to 1 space

                 Pattern pattern = Pattern.compile("([\\S]+\\s*){1,75}"); //get first 75 words of text
                 Matcher matcher = pattern.matcher(articleText);
                 matcher.find();

                 try {
                     page.setSummaryText(matcher.group());
                 } catch (IllegalStateException se){
                     page.setSummaryText("None");
                 }
                 page.setText(articleText);

             } else if (qName.equals("page")){

                 pages.add(page);
                 page = null;

            }
        } else {
            page = null;
        }
     }

     @Override
     public void characters(char[] ch, int start, int length) throws SAXException {
         stringBuilder.append(ch,start, length); 
     }

     public ArrayList<Page> getPages() {
         return pages;
     }
}

Answer 1

您的解析代码可能正常工作，但您加载的数据量可能太大而无法保存在ArrayList的内存中。

您需要某种管道才能将数据传递到其实际目标将它全部存储在内存中。

我有时为这种情况做的事情类似于以下内容。

创建一个处理单个元素的界面：

public interface PageProcessor {
    void process(Page page);
}

通过构造函数向PageHandler提供此实现：

public class Read  {
    public static void main(String[] args) {

        XMLManager.load(new PageProcessor() {
            @Override
            public void process(Page page) {
                // Obviously you want to do something other than just printing, 
                // but I don't know what that is...
                System.out.println(page);
           }
        }) ;
    }

}


public class XMLManager {

    public static void load(PageProcessor processor) {
        SAXParserFactory factory = SAXParserFactory.newInstance();

        try {

            SAXParser parser = factory.newSAXParser();
            File file = new File("pages-articles.xml");
            PageHandler pageHandler = new PageHandler(processor);

            parser.parse(file, pageHandler);

        } catch (ParserConfigurationException e) {
            e.printStackTrace();
        } catch (SAXException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }

    }
}

将数据发送到此处理器，而不是将其放入列表中：

public class PageHandler extends DefaultHandler {

    private final PageProcessor processor;
    private Page page;
    private StringBuilder stringBuilder;
    private boolean idSet = false;

    public PageHandler(PageProcessor processor) {
        this.processor = processor;
    }

    @Override
    public void startElement(String uri, String localName, String qName, Attributes attributes) throws SAXException {
         //Unchanged from your implementation
    }

    @Override
    public void characters(char[] ch, int start, int length) throws SAXException {
         //Unchanged from your implementation
    }

    @Override
    public void endElement(String uri, String localName, String qName) throws SAXException {
            //  Elide code not needing change

            } else if (qName.equals("page")){

                processor.process(page);
                page = null;

            }
        } else {
            page = null;
        }
    }

}

当然，您可以让您的界面处理多个记录的块，而不仅仅是一个，并在较小的列表中本地收集PageHandler个页面，并定期发送列表进行处理并清除列表。

或者（或许更好）您可以实现此处定义的PageProcessor接口，并在那里构建逻辑，缓冲数据并将其发送以进行进一步处理。

Answer 2

Don Roby的方法让我想起了我创建一个旨在解决这个特定问题的代码生成器的方法（早期版本是在2008年构思的）。基本上每个complexType都有Java POJO等效项，当上下文更改为该元素时，将激活特定类型的处理程序。我使用这种方法进行SEPA，事务处理和例如discogs（30GB）。您可以使用propeties文件以声明方式指定要在运行时处理的元素。

XML2J一方面使用complexTypes到Java POJO的映射，但允许您指定要监听的事件。 E.g。

account/@process = true
account/accounts/@process = true
account/accounts/@detach = true

本质是在第三行。分离可确保个人帐户不会添加到帐户列表中。所以它不会溢出。

class AccountType {
    private List<AccountType> accounts = new ArrayList<>();

    public void addAccount(AccountType tAccount) {
        accounts.add(tAccount);
    }
    // etc.
};

在您的代码中，您需要实现流程方法（默认情况下，代码生成器会生成一个空方法：

class AccountsProcessor implements MessageProcessor {
    static private Logger logger = LoggerFactory.getLogger(AccountsProcessor.class);

    // assuming Spring data persistency here
    final String path = new ClassPathResource("spring-config.xml").getPath();
    ClassPathXmlApplicationContext context = new   ClassPathXmlApplicationContext(path);
    AccountsTypeRepo repo = context.getBean(AccountsTypeRepo.class);


    @Override
    public void process(XMLEvent evt, ComplexDataType data)
        throws ProcessorException {

        if (evt == XMLEvent.END) {
            if( data instanceof AccountType) {
                process((AccountType)data);
            }
        }
    }

    private void process(AccountType data) {
        if (logger.isInfoEnabled()) {
            // do some logging
        }
        repo.save(data);
    }
}

请注意XMLEvent.END标记元素的结束标记。因此，当您处理它时，它就完成了。如果必须将它（使用FK）与数据库中的父对象相关联，则可以处理父项的XMLEvent.BEGIN，在数据库中创建占位符并使用其键与每个子项一起存储。在最后的XMLEvent.END中，您将更新父级。

请注意，代码生成器会生成您需要的所有内容。您只需要实现该方法，当然还有DB胶水代码。

有些样本可以帮助您入门。代码生成器甚至可以生成您的POM文件，因此您可以在生成项目后立即生成。

默认流程方法如下：

@Override
public void process(XMLEvent evt, ComplexDataType data)
    throws ProcessorException {


/*
 *  TODO Auto-generated method stub implement your own handling here.
 *  Use the runtime configuration file to determine which events are to be sent to the processor.
 */ 

    if (evt == XMLEvent.END) {
        data.print( ConsoleWriter.out );
    }
}

<强>下载：

首先mvn clean install核心（它必须在本地maven仓库中），然后是发电机。并且不要忘记按照用户手册中的说明设置环境变量XML2J_HOME。

如何在Java中解析大（50 GB）XML文件

2 个答案: