运行多个刮板

时间:2020-04-18 17:15:58

标签: puppeteer google-chrome-headless headless-browser

所以我有一个大型项目,其中有11-14个不同的刮板,它们的行为,循环时间不同(先睡一段时间,然后刮板再睡觉)

同时开始14个任务似乎不是一个好主意,我希望整个项目都可以扩展(例如,买方只需要删除一个包含刮板的文件,它就会根据有多少刮板而扩展刮板)。

我正在使用docker,并且同时运行多个主机时也遇到了问题(即使每个随机启动)。

TL; DR

如何缩放/运行多个不同的木偶刮板?

0 个答案:

没有答案