Question

我在气流中有一个DAG，它有一个任务（一个python操作员），我不得不在GUI中运行该任务，并且它获得成功状态。但是，该任务未执行，因此DAG不做任何事情。 dag的代码如下：

from airflow import DAG
from airflow.operators.python_operator import PythonOperator
from airflow.hooks import MySqlHook
import pandas as pd
import datetime as dt
import json
from datetime import timedelta

default_args = {
        'owner': 'airflow',
        'start_date': dt.datetime(2019,8,29,18,0,0),
        'concurrency':1,
        'retries':3
        }

def extraction_from_raw_data(conn_id):
    mysqlserver = MySqlHook(conn_id)
    query = """select * from antifraud.email_fraud_risk
            WHERE ts >= DATE_ADD(CURDATE(), INTERVAL -3 DAY)"""
    raw_data = mysqlserver.get_records(query)
    raw_data = pd.DataFrame(raw_data)

    data_as_list = []

    for i in range(len(raw_data)):
        dict1 = {}
        dict1.update(json.loads(raw_data.at[i,'raw_content']))
        data_as_list.append(dict1)

    json_data_df = pd.DataFrame(data_as_list)

    final_data = pd.concat([raw_data['email_id'],json_data_df],axis=1)

    return final_data

with DAG('emailage_data',
         default_args=default_args,
         schedule_interval = timedelta(days=1)
         ) as dag:
    extraction_from_raw_data = PythonOperator(
    task_id = 'extraction_from_raw_data',
    op_args = {'conn_id':'services'},
    python_callable = extraction_from_raw_data)

extraction_from_raw_data

所有工作程序，调度程序和Web服务器均正常运行，因为我成功运行了hello_world DAG（及其后续任务）。

Answer 1

通常，您应该始终在DAG的开始时间和当前时间之间留一个额外的间隔。

Airflow文档指出

请注意，如果您在一天的schedule_interval上运行DAG，则2016-01-01之后不久将触发加盖戳2016-01-01T23:59的运行。换句话说，作业实例所涵盖的时间段结束后便开始启动。

让我们重复一遍。计划程序会在开始日期之后（周期结束时）schedule_interval开始执行您的工作。

https://airflow.apache.org/scheduler.html

气流DAG成功执行，但任务未运行

1 个答案: