无法在YARN上运行Spark 1.2

Question

我在使用spark 1.2在YARN上运行一个简单的Java应用程序时遇到了麻烦。

运行时：

spark-submit --class SQL --master yarn-client --executor-memory 2g
--executor-cores 1 target/learning-spark-mini-example-0.0.1.jar

我收到此错误： http://pastebin.com/4VHDDunj

在执行期间，spark-assembly-1.2.0-hadoop2.4.0.jar通过网络传输，这需要很长时间。 看起来很奇怪，为什么上传这么大的文件？它不应该已经在群集上吗？

这是我正在使用的配置： http://pastebin.com/qVsC5qdM

应该注意，在任何地方都没有指定用户名或密码。 我不清楚我应该在哪里设置它们。 Spark试图在集群上使用我当地的“lorenzo”用户名（它也存在）。

任何帮助将不胜感激。

Answer 1

这可能最终成为其他人也报道的NoClassDefFoundError: org/apache/hadoop/service/CompositeService。

要排除，请查看here。