spark（yarn）remote app提交bash

Question

我正在尝试通过jenkins部署spark应用程序。我可以手动执行以下操作：

ssh -T -i ~/.ssh/keys/me.pem hadoop@....compute.amazonaws.com spark-submit --master yarn --deploy-mode cluster --class myclass.myobject s3://mybucket/myjar1.0.jar

我遇到的问题是，一旦将作业提交给纱线，spark-submit就不会分离。我没有找到部署后分离的命令行选项。有关通过詹金斯进行部署的任何想法吗？

Answer 1

在命令发出时添加 nohup ，在结尾添加＆amp; 。

ssh -T -i ~/.ssh/keys/me.pem hadoop@....compute.amazonaws.com nohup spark-submit --master yarn --deploy-mode cluster --class myclass.myobject s3://mybucket/myjar1.0.jar &

Answer 2

仅使用带有--conf spark.yarn.submit.waitAppCompletion = false arg的简单ssh命令即可实际工作。