标签： scrapy
我正在使用scrapy抓取一个网站，但发生了不好的事情（断电等）。
我想知道如何继续从破碎的地方爬行。我不想从种子开始。
答案 0 :(得分：5)
这可以通过将计划的请求持久保存到磁盘来完成。
scrapy crawl somespider -s JOBDIR=crawls/somespider-1
有关详细信息，请参阅http://doc.scrapy.org/en/latest/topics/jobs.html。