我正在构建我的第一个Airflow DAG。由于某些原因,我的气流任务无法正常工作。
这是我在任务实例详细信息上遇到的错误:
这也是主要的图形概述:
这是DAG的主要代码:
default_args = {
'owner': 'airflow',
'depends_on_past': False,
'start_date': datetime(2020, 3, 2),
'email_on_failure': False,
'email_on_retry': False,
'schedule_interval': '@once',
'retries': 1,
'retry_delay': timedelta(seconds=5),
}
dag = DAG(
dag_id='twitterScraper',
description='twitter scraper',
default_args=default_args)
extract = PythonOperator(
task_id='extract_data',
python_callable=extractFunc,
dag=dag)
transform = PythonOperator(
task_id='transform_data',
python_callable=transformFunc,
dag=dag)
load = PythonOperator(
task_id='load_data',
python_callable=loadFunc,
dag=dag)
extract >> transform >> load