Concat流

Question

我正在使用node-xml2js来解析XML。我在从URL解析XML时遇到问题。我已将此SO answer用作模型。但是当我使用下面的代码时，我得到null作为结果。对我做错了什么的想法？

更新：我已将xml的网址更新为所使用的实际网站。

var eyes = require('eyes');
var https = require('https');
var fs = require('fs');
var xml2js = require('xml2js');
var parser = new xml2js.Parser();

parser.addListener('end', function(result) {
  eyes.inspect(result);
  console.log('Done.');
});

https.get('https://tsdrapi.uspto.gov/ts/cd/casestatus/sn78787878/info.xml', function(result) {
  result.on('data', function (data) {
    parser.parseString(data);
    });
  }).on('error', function(e) {
  console.log('Got error: ' + e.message);
});

Answer 1

我没有看到xml2js能够通过其块来解析xml，所以我们需要缓冲整个http响应。要做到这一点，我在这里使用了全局，但最好使用像concat-stream这样的东西（我稍后会发布）。

我试过这个，它对我有用：

 var eyes = require('eyes');
 var https = require('https');
 var fs = require('fs');
 var xml2js = require('xml2js');
 var parser = new xml2js.Parser();

 parser.on('error', function(err) { console.log('Parser error', err); });

 var data = '';
 https.get('https://tsdrapi.uspto.gov/ts/cd/casestatus/sn78787878/info.xml', function(res) {
     if (res.statusCode >= 200 && res.statusCode < 400) {
       res.on('data', function(data_) { data += data_.toString(); });
       res.on('end', function() {
         console.log('data', data);
         parser.parseString(data, function(err, result) {
           console.log('FINISHED', err, result);
         });
       });
     }
   });

只有当响应结束发送时，我们才解析XML。 xml2js使用sax似乎有流媒体支持但不确定xml2js是否利用它。

我创建了一个小例子，它使用chunk-by-chunk解析（类似于你的例子）但是在解析时它没有给出错误，因为在块中无效xml到达 - 这就是我们需要缓冲整个响应的原因。

如果您的xml非常大，请尝试使用具有流支持的sax等不同解析器。

您还可以将error处理程序添加到parser，以便在遇到错误时能够打印错误。

Concat流

使用concat流，您可以更优雅地连接所有.on('data'...)个电话：

var https = require('https');
var xml2js = require('xml2js');
var parser = new xml2js.Parser();
var concat = require('concat-stream');

parser.on('error', function(err) { console.log('Parser error', err); });

https.get('https://tsdrapi.uspto.gov/ts/cd/casestatus/sn78787878/info.xml', function(resp) {

    resp.on('error', function(err) {
      console.log('Error while reading', err);
    });

    resp.pipe(concat(function(buffer) {
      var str = buffer.toString();
      parser.parseString(str, function(err, result) {
        console.log('Finished parsing:', err, result);
      });
    }));

});

您可以使用sax来缓冲整个文件（如果您的xml文件很大），但它的级别更低，但是将它作为流管道非常相似。

Answer 2

根据您的问题，解决方案应该是这样的。

两个选项都按预期工作，并提供xml的有效json对象。您可以按照xml2js的read.me中所述配置如何解析xml

<强>本地

var eyes = require('eyes'),
    https = require('https'),
    fs = require('fs'),
    xml2js = require('xml2js'),
    parser = new xml2js.Parser();


https.get('https://tsdrapi.uspto.gov/ts/cd/casestatus/sn78787878/info.xml', function(res) {
    var response_data = '';
    res.setEncoding('utf8');
    res.on('data', function(chunk) {
        response_data += chunk;
    });
    res.on('end', function() {
        parser.parseString(response_data, function(err, result) {
            if (err) {
                console.log('Got error: ' + err.message);
            } else {
                eyes.inspect(result);
                console.log('Done.');
            }
        });
    });
    res.on('error', function(err) {
        console.log('Got error: ' + err.message);
    });
});

ASYNC *没有回调地狱

var eyes = require('eyes'),
    https = require('https'),
    async =require('async'),
    xml2js = require('xml2js');

async.waterfall([
    function(callback) {
        https.get('https://tsdrapi.uspto.gov/ts/cd/casestatus/sn78787878/info.xml', function(res) {
            var response_data = '';
            res.setEncoding('utf8');
            res.on('data', function(chunk) {
                response_data += chunk;
            });
            res.on('end', function() {
                callback(null, response_data)
            });
            res.on('error', function(err) {
                callback(err);
            });
        });
    },
    function(xml, callback) {
        var parser = new xml2js.Parser();
        parser.parseString(xml, function(err, result) {
            if (err) {
                callback(err);
            } else {
                callback(null, result);
            }
        });
    }, 
    function(json, callback) {
        // do something usefull with the json
        eyes.inspect(json);
        callback();
    }
], function(err, result) {
    if (err) {
        console.log('Got error');
        console.log(err);
    } else {
        console.log('Done.');
    }
});

Answer 3

使用xml2js，非常简单。

var parseString = require('xml2js').parseString;

var xmldata = "XML output from the url";
console.log(xmldata);
parseString(xmldata, function (err, result) {
 // Result contains XML data in JSON format
});

Answer 4

var https = require('https');
var parseString = require('xml2js').parseString;
var xml = '';

function xmlToJson(url, callback) {
  var req = https.get(url, function(res) {
    var xml = '';

    res.on('data', function(chunk) {
      xml += chunk;
    });

    res.on('error', function(e) {
      callback(e, null);
    }); 

    res.on('timeout', function(e) {
      callback(e, null);
    }); 

    res.on('end', function() {
      parseString(xml, function(err, result) {
        callback(null, result);
      });
    });
  });
}

var url = "https://tsdrapi.uspto.gov/ts/cd/casestatus/sn78787878/info.xml"

xmlToJson(url, function(err, data) {
  if (err) {
    // Handle this however you like
    return console.err(err);
  }

  // Do whatever you want with the data here
  // Following just pretty-prints the object
  console.log(JSON.stringify(data, null, 2));
});

Answer 5

建议您使用libaray request，代码非常简单。然后，您还可以将libaray cheerio与它一起使用，您需要从中提取任何信息以进行进一步处理。

var request = require('request');
const cheerio = require('cheerio');

request('https://tsdrapi.uspto.gov/ts/cd/casestatus/sn78787878/info.xml', function (error, response, html) {
    if (!error && response.statusCode == 200) {
        // Do something you need
        var $ = cheerio.load(html, {
            xmlMode: true
        });
    const nodes = $('div');  // Just an example
    }
});

如何使用Node从URL解析XML

5 个答案:

Concat流