如何将实时日志写入AWS Glue日志

时间:2019-02-13 10:42:47

标签: python pyspark aws-glue

所以我的问题是,有时由于一些莫名其妙的问题,我的Glue作业需要花费很多时间甚至无法全部运行。有没有一种方法可以将消息打印到输出或错误日志中,以便至少可以跟踪作业当前位置或结束位置?

我在How do I write messages to the output log on AWS Glue?中尝试了解决方案

但这似乎对我没有用。输出日志会生成大量日志,即使我在邮件中搜索或筛选关键字时,仍然找不到它们。

现在,我正在考虑将消息写入S3文件来解决此问题。但这让我想知道,实际上没有其他方法可以显示作业运行时可以检查的消息吗?

1 个答案:

答案 0 :(得分:0)

您可以编辑作业以使用连续记录功能并在那里跟踪记录器

相关问题