爬网时服务器挂起

Question

许多请求后，我的服务器挂起。 我尝试更改UserAgent，rateLimit，maxConnections等。 我不知道为什么〜1000个请求后我的服务器挂起。 当我停止时，我的应用程序服务器现在可以正常工作。

哪里有问题？我使用scrapoxy OVH Cloud。 http://scrapoxy.io

Ubuntu，MongoDB，NodeJS

function otodomParser(db, urls, type) {
var otodomCities = new Crawler({
    rateLimit: 1000,
    maxConnections: 10,
    callback: function(error, res, done) {
        if(error) {
            console.log(error);    
        } else {
            let pages = 3;

            var otodomAdvsUrl = new Crawler({
                rateLimit: 1000,
                maxConnections: 10,
                callback: function(error, res, done) {
                    if(error) {
                        console.log(error);
                    } else {
                        // parsing
                    }
                    done();
                }
            });

            for(let p = 1; p <= pages; p++) {
                otodomAdvsUrl.queue({
                    url: res.options.url + '&page=' + p,
                    proxy: proxy_url,
                    gzip: true,
                    headers: {
                        'User-Agent': 'Chrome/59.0.3071.115',
                        'Proxy-Connections': 'keep-alive',
                        'Host': 'www.otodom.pl'
                    },
                    parameter1: res.options.parameter1
                });
            }
        }
        done();
    }
});

for(let i = 0; i < urls.length; i++) {
    otodomCities.queue({
        url: urls[i].url,
        proxy: proxy_url,
        gzip: true,
        headers: {
            'User-Agent': 'Chrome/59.0.3071.115',
            'Proxy-Connections': 'keep-alive',
            'Host': 'www.otodom.pl'
        },
        parameter1: urls[i].city_id
    });
}
}