Scrapy:抓错蜘蛛

时间:2020-04-02 06:34:15

标签: python python-3.x scrapy

我在一个项目中有2个蜘蛛。它们都位于spiders文件夹下。这是我在命令行中启动所有蜘蛛的方式:

scrapy newproject myproject
cd myproject
scrapy genspider spider1 www.example1.com
scrapy genspider spider2 www.example2.com

以下是一些设置:

BOT_NAME = 'myproject'
SPIDER_MODULES = ['myproject.spiders']
NEWSPIDER_MODULE = 'myproject.spiders'

但是,当我在spider1中运行scrapy crawl spider1时,就好像调用了spider2(基于日志)。如何分别运行正确的蜘蛛?

注意:我关注了这个问题here,并删除了2个*.pyc文件夹下的所有__pycache__文件(其中一个直接位于myproject文件夹下, myproject\spiders文件夹下的另一个)。但是仍然会调用错误的蜘蛛

0 个答案:

没有答案
相关问题