关于spark远程提交应用程序混淆

Question

我的情况如下：

我有一个Spark集群，它位于Linux Systems上。

但是我在Windows上测试我的应用程序，现在我将它提交给远程spark集群，它不起作用并始终打印flollows日志：

 15/08/04 19:33:09 WARN ReliableDeliverySupervisor: Association with remote system [akka.tcp://sparkMaster@h1:7077] has failed, address is now gated for [5000] ms. Reason is: [Disassociated].

我的代码：  

谁知道这个问题？

Answer 1

经过两天的探索，我找到了解决问题的方法。

最直接的原因是scala版本不一致，我发现spark1.4.0依赖于scala2.11.x，所以我需要使用retrmplie spark source来suuport scala2.11.x

按照下面列出的步骤进行操作：

1 =＆gt; dev / change-version-to-2.11.sh

2 =＆gt; mvn -Pyarn -Phadoop-2.6 -Dscala-2.11 -DskipTests清洁包

3 =＆gt;确保客户端scala版本与服务器scala版本相同