Stream-Stream与结构化流中的mapGroupswithState连接

时间:2017-12-04 21:57:37

标签: apache-spark spark-structured-streaming

我想在这里实现的是两个流之间的SQL连接。由于只能在Spark 2.3中使用流到流的连接,我试图看看是否可以利用mapGroupswithState API来实现这一点。

我有两个数据流来自Kafka - 订单和客户。

订单信息流包含以下字段:OrderIDCustomerIDOrderDate 客户流包含以下字段:CustomerIDCustomerNameContactNameCountry

上述两个流之间的关系是“CustomerID”字段。

我需要帮助来定义映射状态函数。我这里没有任何聚合,我想要实现的只是一个简单的连接。这可能吗?

0 个答案:

没有答案
相关问题