如何在正在运行的spark流式传输作业中加载新版本的模型/文件

时间:2018-03-15 18:28:04

标签: apache-spark apache-spark-sql spark-streaming

我有一个sparkML模型,我用它来预测流数据。然而,根据股东的反馈意见,模型会不断更新。

模型存储在s3位置。我检查过,结构化的流模型是在作业开始时从s3位置加载的,除非重新启动,否则作业无视该位置所做的更改。

有没有办法在不重新启动流式传输作业的情况下加载新版本?任何帮助将不胜感激

0 个答案:

没有答案