运行多个蜘蛛抓取蜘蛛有什么限制吗?

时间:2020-09-24 05:13:50

标签: python django scrapy

我想用沙哑跑很多蜘蛛。这会使抓取过程变慢还是对蜘蛛运行没有任何限制?运行许多无限制的蜘蛛会使进程变慢吗?

有没有对Scrapy有经验的人?

1 个答案:

答案 0 :(得分:1)

您可以同时运行多个蜘蛛,没有,这不会使过程变慢。