为流星构建爬虫包的想法/方向

Question

我正在考虑构建一个能够轻松构建节点爬虫的软件包。我在使用webpack和webdriverjs之类的工具之前已经构建了爬虫，并且每次在bot和服务器之间来回路由和通信都是如此痛苦。

流星的方式似乎更甜蜜：没有明确的路由，客户端可以只调用功能，它只是工作。因此，我打算构建一个帮助程序包，您可以依赖它来构建自己的爬虫程序包，其中只包含一个bot.js文件，在其中您发出事件并在完成这样的操作时终止僵尸程序：

var contents=$('.content-to-scrape').html() //getting some contents
Crawler.emit('contents', contents);
Crawler.terminate();

在服务器端，你只需要像这样调用它：

Crawler.start('http://somesite.com');
Crawler.on('contents', callback1);
Crawler.on('terminate', callback2);

我无法解决如何构建软件包来为浏览器机器人提供服务的问题。 Meteor构建系统似乎不构建除客户端和服务器之外的任何东西，并且它看起来相当复杂。所以我决定使用webpack来打包捆绑包以服务于浏览器bot。我想我可以使用WebApp.connectHandlers添加我需要的任何路由。我想知道的是，在哪里放置使用webpack创建的bundle文件，以便我可以使用connect handler来提供它。

告诉我Meteor是否可行，或者我是否朝着正确的方向前进？

Answer 1

据我所知，你应该首先看看github上已经建立的Meteor软件包。

这些是一些着名的，并将让您了解您打算做什么：

• https://github.com/arunoda/meteor-npm

• https://github.com/crazytoad/meteor-collectionapi

• https://github.com/CollectionFS/Meteor-CollectionFS

然后，您应该遵循本指南https://atmospherejs.com/docs/publishing