从Spark 2.2到2.3的结构化流有什么区别？

Question

我在Spark 2.3的发行说明中看到了结构化流的公告/发布，但是我知道它已经存在了一段时间。由于某些依赖性，我需要在系统实现中使用Spark 2.2，但我也想开始将面向批处理的工作移入流式范例。

如果没有Spark 2.3，我是否缺少什么重要的东西？或者仅仅是结构化流变为“正式”版本而不是试验版本？

Answer 1

我能够在本地聚会上与某个“有识之士”交谈，他的回答（稍作记录）是您可以在2.2版中使用结构化流式传输，但是如果您对这种情况感到惊讶，如果您尝试在生产环境中使用，结果将不那么稳定（例如，越野车）。

他进一步建议，即使Spark 2.3在某些情况下，某些边缘情况也很容易引起问题，并且在此过程中进行了大量修复，应使其对于2.4更加稳定。所以给我自己的提示是，我应该尝试在生产环境中使用它，直到我的其他各种依赖关系允许使用Spark 2.4。可惜，因为我认为这种新方法非常邪恶。