如何自动运行crawler？

Question

我正在使用django和scrapy框架来完成一个项目。在我的项目中，有两个爬虫。现在我希望这些抓取工具每天自动运行一次或两次。那我怎么能实现呢？这是如何实现的？关于使用cron作业的简单想法是我在寻找什么？所以我正在寻找一些好的和简单的参考资料。

Answer 1

我认为cronjob是最简单的方法。

只需将以下内容添加到“/etc/crontab”（或使用crontab -e）：

0 0 * * * python /path/to/your/script.py

这将每天00:00运行

这里还有一些不错的参考网站：http://www.thesitewizard.com/general/set-cron-job.shtml

编辑：如果您不希望将输出发送到您的邮件，请使用：

0 0 * * * python /path/to/your/script.py > /dev/null

或

0 0 * * * python /path/to/your/script.py >/dev/null 2>&1

第一个将“破坏”'正常'输出（但会记录任何错误），第二个将“销毁”任何输出。