Question

我有以下运算符：

import = BashOperator(
    task_id='import',
    bash_command="""python3 script.py `{{ var.value.run_value }}`  'file.json'""",
    dag=dag)

当我看渲染模板时，我看到：

python3 script.py `2018-09-13 11:53:38.725089`  'file.json'

到目前为止很好。但是我的脚本似乎不适用于此输入：

if __name__ == '__main__':
    if str(sys.argv[1]):
        time_value = str(sys.argv[1])[:-7]  # from 2018-09-13 11:01:18.287705 to 2018-09-13 11:01:18
    else:
        time_value = '1900-01-01 00:00:00'
    requestedDate = time_value.split(' ', 1)[0]          #From 2018-08-20 15:00:00  get only 2018-08-20
    requestedTime = (time_value.split(' ', 1)[1])[:-3]   #From 2018-08-20 15:00:00  get only 15:00
    pathConfigFile = (sys.argv[2])

这不起作用。

我想要的是：

time_value  =  YYYY-MM-DD HH:MM:SS
requestedDate = YYYY-MM-DD
requestedTime = HH:MM:SS
pathConfigFile = 2nd parameter given.

气流向我显示：

 {bash_operator.py:101} INFO - SyntaxError: invalid syntax

此外，我什至无法打印输入。当我尝试不使用Airflow作为纯python脚本的代码时，我没有任何问题。

我应该注意。气流在Python 2.7下运行，但脚本在Python 3下运行

出什么问题了？

Answer 1

您似乎在反引号中引用了该宏，Bash将该宏解释为要执行内容。您应该切换到单引号。

您呈现的输出应如下所示：

python3 script.py '2018-09-13 11:53:38.725089'  'file.json'

从Airflow中的BashOperator提取参数

1 个答案: