为什么spark-submit失败了＆＃34;缺少应用程序资源＆＃34;是否指定了--jars选项？

Question

我是Spark的新手，我正在尝试使用--jars添加一个本地jar来激活提交。我的命令是./spark-submit --jars /home/parallels/Downloads/my_jar_name

然而，似乎没有像这样的反馈。我想知道它的原因以及如何解决它。

Answer 1

--jars只是添加jar以包含在驱动程序和执行程序类路径中。

  

- jars JARS 包含在驱动程序和执行程序类路径中的以逗号分隔的jar列表。

spark-submit需要指向不的应用程序jar（又名 app jar ）的路径，因此错误。

./spark-submit --jars /home/parallels/Downloads/my_jar_name path_to_application.jar