使用Apache Spark运行不同版本的Kryo代码

时间:2015-09-29 15:48:37

标签: apache-spark spark-streaming kryo

我正在尝试整合一个Apache Spark Streaming应用程序,该应用程序将消耗来自消息代理的消息。除了使用Kryo序列化我的消息之外,我已经解决了所有问题。

Apache Spark使用Kryo版本2.21编译,但我的消息是使用版本2.24.0序列化的。在尝试反序列化时,我收到了NoSuchMethodError,因为Kryo 2.21中没有该方法(我正在使用setCopyReferences(false))。

有没有简单的方法可以解决这个问题?我是否需要使用我需要的kryo版本自行重新编译Spark?

0 个答案:

没有答案