独立于Spark Job的Spark Driver配置

时间:2018-09-12 14:51:46

标签: apache-spark spark-submit

是否可以通过始终以特定配置启动(例如,在YARN中)启动Driver的方式配置spark,而各个单独的Spark Job不能覆盖该配置。

例如-通过在spark提交中指定--conf方法,可以覆盖spark.driver.extraJavaOptions。

请提出一种可行的方法。

0 个答案:

没有答案