将Spark Stream响应写入多个数据源

时间:2018-06-17 08:24:01

标签: apache-spark spark-streaming

我正在使用Spark Streaming(结构化)从Kafka读取数据。处理完毕后,我需要将它们写成两个不同的Kafka主题。我已经实现了以下代码(显示为控制台打印)来实现它虽然它有效。你能告诉我这是正确的实现方式还是有任何其他正确的方法来写入多个接收器(如Kafka,HDFS)等)

 var greater_response  = processed_response
                    .filter($"gatewayId" > 1000)
                    .writeStream
                    .trigger(ProcessingTime(2000))
                    .outputMode(OutputMode.Append())
                    .format("console")
                    .start()

    var less_response  =  processed_response
                    .filter($"gatewayId" < 1000)
                    .writeStream
                    .trigger(ProcessingTime(2000))
                    .outputMode(OutputMode.Append())
                    .format("console")
                    .start()

    greater_response.awaitTermination()
    less_response.awaitTermination()

0 个答案:

没有答案