将外部属性文件添加到spark中的classpath

Question

我目前正在使用以下命令将我的胖罐提交到spark集群。 应用程序胖jar和相关配置位于文件夹/ home / myapplication

中

$SPARK_HOME/bin/spark-submit --jars $SPARK_HOME/lib/protobuf-java-2.5.0.jar --class MainClass /home/myapplication/my-application-fat.jar -appconf /home/myapplication/application-prop.properties -conf /home/myapplication/application-configuration.conf

现在我的要求是将外部属性文件 /home/myapplication/external-prop.properties 添加到驱动程序和工作节点的类路径中。

我搜索了很多资源，但无法找到正确的解决方案！

请帮助解决问题。提前致谢

Answer 1

您的要求在于使用spark.executor.extraClassPath配置指向属性文件。但在此之前，因为@philantrovert指出使用--files选项将属性文件复制到工作节点。

所以你的正确命令应该是

$SPARK_HOME/bin/spark-submit --jars $SPARK_HOME/lib/protobuf-java-2.5.0.jar --class MainClass /home/myapplication/my-application-fat.jar -appconf /home/myapplication/application-prop.properties -conf /home/myapplication/application-configuration.conf --files /home/myapplication/external-prop.properties --conf "spark.executor.extraClassPath=./"