如何自动化我在python中编写的每月运行的刮刀程序?

时间:2014-03-31 18:59:50

标签: python linux automation crontab scraper

我编写了一个Python程序,使用正则表达式从网站上删除信息。我的目标是创建一个cron作业来每月运行这个刮刀。

我已进入Linux终端,输入crontab -e,并添加到crontab文件的底部:

**

#!/usr/bin/python chmod +x
30 8 1 * * /home/pi/Nikita/The_Scraper/thescraper.py
PATH=/home/pi/Nikita/The_Scraper/thescraper.py
MAILTO="myemailaddress@gmail.com"

**

我想知道:

  1. 如果这是要包含在crontab文件中的正确文本

  2. 如何验证我每月运行的刮刀程序以及我创建的cron作业是否正常工作

1 个答案:

答案 0 :(得分:1)

我从哪里开始:

1st:Cron通过你的shell启动脚本。所以/home/pi/Nikita/The_Scraper/thescraper.py必须具有执行权限。

第二:PATH是环境变量的名称,如果在没有PATH的情况下指定shell,它将搜索您的脚本。它应该只包含目录。

3rd:从上到下阅读crontab。它应该足够使用

MAILTO="myemailaddress@gmail.com"
30 8 1 * * /home/pi/Nikita/The_Scraper/thescraper.py

这应该在每月的第一天8:30运行你的脚本。

MAILTO设置指定外部邮件地址。您应该有一个正确配置的MTA(传递邮件的程序)正在运行。 该邮件的内容是邮件的STDOUT和STDERR。

要测试你可以指定一段时间(将来5分钟),看看会发生什么。此外,您可以将OUTPUT重定向到一个文件,然后您可以看到作业是否已经运行,如果发送邮件不起作用,其OUTPUT是什么。

30 8 1 * * /home/pi/Nikita/The_Scraper/thescraper.py > /some/test/file/were/your/user/can/write

如果您有权访问系统日志,则可以查看是否已执行cronjob。

相关问题