Question

我们正在创建Spark的自定义版本，因为我们正在更改ALS.scala中的一些代码行。我们使用构建自定义spark版本 mvn命令：

./make-distribution.sh --name custom-spark --tgz -Psparkr -Phadoop-2.6 -Phive -Phive-thriftserver -Pyarn

但是，在使用Spark的自定义版本时，我们遇到了这个错误：

你们是否知道导致错误的原因以及我们如何解决这个问题？

我实际上是在本地机器上使用jar文件，使用sbt：sbt编译然后使用sbt clean包并将jar文件放在这里：/Users/user/local/kernel/kernel-0.1.5-SNAPSHOT/库。

但是在hadoop环境中，安装是不同的。因此，我使用maven来构建spark，这就是错误传入的地方。我认为这个错误可能依赖于使用maven来构建spark，因为有一些这样的报告：

或者可能构建spark程序集文件