Question

我使用node_redis库在节点中编写了一个小型redis发布者。程序完成发布1M消息后，它继续保持 350 MB 的内存。任何人都可以提供任何线索，为什么程序需要如此多的内存以及如何释放内存？

以下是代码段 -

var redis = require("redis"),
    publisher = redis.createClient();
    var i = 0;
    for (;;) {
        publisher.publish("rChat", i);
        i++;
        if (i == 1000000) {
            console.log("stopped sending messages");
            setTimeout(function(){publisher.end();},1000);
            break;
        }
    }
    setTimeout(function() {
            console.log("Keeping console alive");
        }, 1000000);

Answer 1

这里有两个问题。

为什么程序需要这么多内存？

我认为这是由于缺乏背压。

您的脚本只向Redis发送1M发布命令，但它不处理对这些命令的任何回复（因此只是由node_redis丢弃）。因为它永远不会等待任何回复，所以脚本将在内存中为所有这些命令累积大量上下文。 node_redis需要保留上下文以跟踪命令，并关联Redis命令和回复。 Node.js排队命令的速度要快，系统要将这些命令传递给Redis，处理它们，构建回复，并将回复传递回node.js.因此，背景正在增长，它代表了很多记忆。

如果要将内存消耗保持在可接受的水平，则需要限制代码以使node.js有机会处理Redis回复。例如，以下脚本还处理1M项目，但它将它们作为1000个项目的批次发布，并等待每1000个项目的回复。因此它消耗的内存非常少（上下文最多包含1000个待处理命令）。

var redis = require("redis"),
    publisher = redis.createClient();

function loop( callback ) {
   var count = 0;
   for ( i=0 ; i < 1000; ++i ) {
        publisher.publish("rChat", i, function(err,rep) {
        if ( ++count == 1000 )
            callback();
        });
   }
}

function loop_rec( n, callback ) {
    if ( n == 0 ) {
        callback();
        return;
    }
    loop( function() {
        loop_rec( n-1, callback );
    });
}

function main() {
    console.log("Hello");
    loop_rec(1000, function() {
        console.log("stopped sending messages");
        setTimeout(function(){publisher.end();},1000);
        return;
    });
}

publisher.ping(main)

setTimeout(function() {
    console.log("Keeping console alive");
}, 1000000);

可以释放内存吗？

通常，它不能。与所有C / C ++程序一样，node.js使用内存分配器。释放内存时，它不会释放到系统，而是释放到内存分配器。通常，内存分配器无法将未使用的内存返回给系统。请注意它不是泄漏，因为如果程序执行新的分配，则将重用内存。

编写一个实际上可以向系统释放内存的C / C ++程序通常涉及设计自定义内存分配器。很少有C / C ++程序可以做到。最重要的是，node.js包含一个带v8的垃圾收集器，因此它应该对内存释放策略施加额外的限制。

节点redis发布者消耗太多内存

1 个答案: