Question

我正在尝试索引一个大（1 500 000行）文件并将其推送到弹性搜索。为了做到这一点，我使用节点js流;但是，我的内存不足。我做错了什么？

var rl = null;

initialize(function() {
  var stream =  fs.createReadStream(process.argv[2]);
  rl = readline.createInterface({input: stream, terminal: false});
  var i = 0;

  rl.on('line', function(line) {
    rl.pause();
    processObject(++i, extractObject(line));
  });

  rl.on('close', function() {
    console.log('\nRefreshed index;');
    process.exit();
  });
});

function processObject(number, input) {
    client.index({
            index: INDEX,
            type: TYPE,
            id: number,
            body: input
    }, function (error, response) {
        rl.resume();
        if(number % 1000 == 0) process.stdout.write('.');
    });
};

Answer 1

好的，这是解决方案。我写的代码很好;问题出在＆＃39; readline＆＃39;包。事实上，rl.pause（）函数并没有暂停行读取，因为它应该。我通过切换到“逐行”来解决这个问题。包，以同样的方式工作。使用相同的代码，该过程在60 MB内运行。

使用节点流时内存不足

1 个答案: