如何在spark中创建管道，在不同的RDD上执行不同的转换

Question

我在kafka流中有2个主题，我想在某些RDD上执行一次转换，在RDD的其余部分执行另一个转换。

以下是在spark stream中获取kafka数据的代码

notification.if( topicName is X).map(valuex -> valuex+1).else( topicName is Y).map(valuey -> valuey-1).collect()

此通知包含2个不同的主题，例如X和Y， 我想对主题Y和主题Y

上的减法操作执行加法运算

可以使用以下任何内容。 它只是我需要的模型，如果用火花以任何其他方式实现同​​样的东西。请让我知道

{{1}}

Answer 1

您可以尝试创建两个流，例如主题X的notifications1和主题Y的notifications2，并单独执行地图操作。

完成地图操作后，您可以使用连接操作加入流。

有关加入流的详细信息，请参阅以下链接。 Joining two streams