如何在有状态(启用检查点)Spark Streaming中使用foreachRDD中的Word2Vec模型?

时间:2017-06-03 02:10:18

标签: apache-spark spark-streaming apache-spark-mllib

我已经在批处理中训练了我的Word2VecModel,并在Spark Streaming中使用了它。所以,我正在使用Word2VecModel.load(sc, Path)加载我的模型。

在我的Spark Streaming应用程序中,我正在使用groupByKeyAndWindow(),这意味着我必须在我的inputDStream上启用检查点启用的流处理,之后我想使用findSynonyms() foreachRDD内的Word2VecModel。

我收到以下错误:

  

已启用DStream检查点,但DStream及其功能不可序列化

我知道这个错误的含义是什么以及它为什么会出现,问题是我无法找到解决方法。

0 个答案:

没有答案