我一直在使用Scrapy已经有一段时间了，我一直在寻找是否可以在不同的机器（同一IP）上同时使用一只蜘蛛或多个蜘蛛（平行刮擦）来加速Scrapy;但我没有发现任何与此相关的内容。有人知道吗？
非常感谢任何帮助，谢谢。
答案 0 :(得分：0)
没有内置的方法可以执行此操作，但您可以使用多个scrapyd实例完成分布式爬网。您只需要发出单独的计划请求（每个scrapyd服务器实例1+）。
http://doc.scrapy.org/en/latest/topics/practices.html#distributed-crawls