火花流检查点中的广播问题

Question

我必须每天使用一次加载文件，并在我的Spark流中使用它。为此，我正在尝试读取文件并进行广播。下面是正在使用的代码。

e

代码可以正常工作，直到流作业连续运行。但是，当我尝试重新启动作业时出现以下错误。我发现如果有检查点，我们将无法使用广播。

B(const& A)

请让我知道如何解决此问题。

谢谢

Answer 1

您应该以其他方式适当地停止应用程序，否则应用程序将停止并保存一半的数据，而当您尝试重新启动时，由于数据无法完全使用，它可能无法序列化。