客户端触发节点命令?

时间:2016-03-18 10:20:10

标签: javascript node.js web-scraping

我使用这个基于节点的web scrapper。 https://github.com/lapwinglabs/x-ray

我必须在我的热量中做password。我如何从客户端运行它?例如,从客户端发送ajax请求并进行抓取。

1 个答案:

答案 0 :(得分:0)

您可以使用express创建端点。例如,您可以创建类似这样的内容 -

    var Xray = require('x-ray');
    var x = Xray();

    var express = require('express');
    var app = express();

    app.get('/webscrap', function(req, res) {
        var url = req.query.url;
        x(url, 'li.group', [{
                title: '.dribbble-img strong',
                image: '.dribbble-img [data-src]@data-src',
            }])
            .paginate('.next_page@href')
            .limit(3)
            .write('results.json')
        res.end();
    })

    app.listen(3000);

您只需将url作为查询参数传递给 -

http://localhost:3000/webscrap?url=https://dribbble.com

您可以详细了解快速路线here

如果您想从浏览器运行test.js,可以查看优秀的Browserify npm模块。