Oozie在运行Spark提交操作时未使用Spark Extraclasspath罐

时间:2019-02-15 09:19:40

标签: apache-spark pyspark oozie

我正在oozie中执行提交火花的操作。当我在spark-submit命令中提供spark.driver.extraClasspath或spark.executor.extraClasspath时,它运行良好。但是使用oozie时,当我在标记中提供这些选项时,它就不会运行。

例如

-conf“ spark.executor.extraClassPath = / usr / hdp / current / phoenix-client / phoenix-4.7.0.2.6.3.0-235-spark2.jar:/ usr / hdp / current / phoenix-client /phoenix-client.jar”

以上在spark-submit命令中运行良好,但在oozie中却没有。在oozie中,如果我在工作流/ lib中复制这些jar,则可以正常工作。

即使--file /etc/hbase/conf/hbase-site.xml也无法正常工作。我正在从工作流/ lib传递hbase-site.xml,这不是正确的方法

那么oozie中具有spark.executor.extraClasspath选项的意义何在?

0 个答案:

没有答案