每天运行python脚本的最佳方法是什么?

时间:2017-11-16 06:10:44

标签: python amazon-web-services amazon-data-pipeline

我有一个python脚本连接到Redshift,执行一系列SQL命令,并生成一个新的派生表。

但是对于我的生活,我无法找到让它每天自动运行的方法。

我已尝试AWS Data Pipeline,但我的shell脚本无法运行第一个复制语句。 我不能让Lambda或Glue工作,因为我公司的IAM政策是限制性的。 每天只运行一个python脚本,Airflow似乎有点过分了。

有关服务的任何建议吗?

4 个答案:

答案 0 :(得分:6)

Cron工作?

00 12 * * * /home/scottie/bin/my_python_script.py

每小时(第0分钟),每天中午运行my_python_script.py

答案 1 :(得分:1)

我在Windows上使用计划任务。使用GUI或at command输入它。

答案 2 :(得分:1)

如果您正在使用AWS Glue或有其他原因来安装开发端点,您可以使用Apache Zeppelin根据cron命令按计划运行任何语言的任何代码(如果您有jar文件)。这是我用来运行Redshift夜间维护的笔记本:

Redshift Maintenance in a Zeppelin notebook

答案 3 :(得分:1)

在ec2实例上使用cron作业或设置调度事件来调用你的aws python lambda函数http://docs.aws.amazon.com/lambda/latest/dg/with-scheduled-events.html