如何将 Spark 配置参数传递给 DBT？

Question

我正在使用 DBT 连接到 AWS/EMR。我能够运行 Spark/SQL 查询，但是我在哪里设置参数，例如 spark.sql.shuffle.partitions，在正常代码中你将传递：

sqlContext.setConf("spark.sql.shuffle.partitions", "1200")

？

Answer 1

由于我在这里没有得到任何答案，所以我写了我目前认为的方法（但重复一遍，不确定这是否是正确的方法）：

{{ config(
    materialized='table',
    pre_hook=['SET spark.sql.shuffle.partitions=1200'],
    ...
)}}