使用Oozie启动Spark工作失败（Error MetricsSystem）

Question

我有一个火花罐，我用 spark-submit 启动它，它工作正常（读取文件，生成RDD，存储在hdfs中）。但是，当我尝试在Oozie作业（oozie：spark-action）中启动相同的jar时，火花作业失败。

当我查看日志时，显示的第一个错误是：

  

错误MetricsSystem：Sink类   org.apache.spark.metrics.sink.MetricsServlet无法实例化。

此外，当我开始使用spark脚本时，我发现问题与 saveAsText 功能有关。当我在没有写入HDFS的情况下吃同样的火花工作时，整个工作流程都运行良好。

有什么建议吗？

Answer 1

问题出在我正在执行oozie工作的群集一侧。

我需要明确地在工作流程中添加参数，因为它们没有被考虑在内：

＆lt; spark-opts＆gt; - 队列HQ_IBNF --conf“spark.executor.extraJavaOptions = -Djava.library.path = / opt / application / Hadoop / current / lib / native”＆lt; / spark-opts＆gt;