Spark上下文和流上下文的组合

Question

我想在流式上下文停止后执行一些批量计算。 （strContext.stop（真，真）

我认为流式上下文的停止会导致关联的spark上下文停止，实际上我收到了关于spark listener总线的错误信息。 似乎即使调用strContext.stop（false，true）也会导致停止执行spark上下文。

任何人都可以在流式传输后提供批量计算的示例吗？

Answer 1

def stop(stopSparkContext: Boolean, stopGracefully: Boolean): Unit = {
    ...
    if (stopSparkContext) sc.stop()
}

从上面的代码中，如果传递strContext.stop（false），则不应该停止spark Context。

您是否停止了代码中的其他位置？你能在这里粘贴代码吗？