使用SparkLauncher以编程方式将spark作业提交到dse spark集群

Question

我对Spark和DSE相对较新，我试图以编程方式向DSE spark集群提交spark作业？

我使用的是org.apache.spark.launcher.SparkLauncher api。我尝试按照SparkLauncher的文档进行操作。

Process launcher = new SparkLauncher().setAppName("appName")
                    .setAppResource("spark-job.jar")
                    .setSparkHome("spark-home")
                    .setMainClass("main-class")
                    .setVerbose(true).launch();
launcher.waitFor();

但它似乎没有在dse集群上启动这项工作。我可以使用以下方法手动触发作业： dse spark-submit命令

欢迎任何帮助。谢谢！

Answer 1

我相信这与没有设置你的sparkHOme有关。在DSE中识别你的火花之家，然后添加

.setSparkHome("sparkHomeDir")

而你宁愿使用SparkHandle而不是阻止等待。

SparkAppHandle handle = launcher.startApplication();