如何在SparkLauncher中设置驱动程序java选项

Question

使用spark-submit向Yarn提交Spark应用程序时，我可以通过--driver-java-options将java选项传递给驱动程序，例如：

spark-submit --driver-java-options "-Dlog4j.configuration=file:///conf/log4j.properties" ...

通过SparkLauncher提交时如何实现相同目标？特别是，有没有办法通过Spark 1.4实现它？

Answer 1

不熟悉SparkLauncher，但从查看代码看，您可以使用setConf()传递配置。在此，如果添加属性SparkLauncher.DRIVER_EXTRA_JAVA_OPTIONS，则应该具有相同的效果。

例如

Process spark = new SparkLauncher()
     .setAppResource("/my/app.jar")
     .setMainClass("my.spark.app.Main")
     .setMaster("local[*]")
     .setConf(SparkLauncher.DRIVER_EXTRA_JAVA_OPTIONS, "-Dmy.property=someval")
     .launch();