错误时，纱线上的火花会运行两次

Question

我使用在纱线上点火的模型，当遇到问题时，火花会自动重启。

无论成功还是失败，我都希望运行一次。

是否可以设置conf或api？

我使用的是Spark 1.5版。

Answer 1

您必须将spark.yarn.maxAppAttempts属性设置为1.默认值为yarn.resourcemanager.am.max-attempts，默认为2。

通过代码设置属性：

SparkConf conf = new SparkConf();
conf.set("spark.yarn.maxAppAttempts", "1");

通过spark-submit提交作业时设置：

  

- conf spark.yarn.maxAppAttempts = 1