DAG清除后,气流任务的关机状态为

时间:2018-11-29 06:40:58

标签: airflow airflow-scheduler

您好,我尝试清除DAG,但是后来在我的任务上出现了blue state in Airflow Webserver中描述的关闭状态。这是预期的行为吗?清除DAG后如何避免这种情况?

最好!

1 个答案:

答案 0 :(得分:2)

在这种状态下,气流只有a tiny amount of documentation,但是蓝色的from pyspark.sql.functions import udf spark.udf.register('ByteArrayToDouble', lambda x: int.from_bytes(x, byteorder='big', signed=False) / 10e5) spark.sql('select myfield, ByteArrayToDouble(myfield) myfield_python, convert_binary(hex(myfield))/1000000 myfield_scala from my_table').show(1, False) +-------------+-----------------+----------------+ |myfield |myfield_python |myfield_scala | +-------------+-----------------+----------------+ |[52 F4 92 80]|1391.76 |1391.76 | +-------------+-----------------+----------------+ only showing top 1 row 状态是在任务从外部来源收到关机命令时发生的。这通常在气流工作人员收到杀死信号时发生。例如,在部署期间,您可能会杀死正在运行的工作程序以加载新代码。

我不确定清除DAG是什么意思(当您从Airflow UI清除任务时是什么意思?),但这也许向工作人员发出了致命的信号?

相关问题