Spark DStream.transform()。foreachRDD()vs DStream.foreachRDD()

时间:2017-03-28 18:15:41

标签: apache-spark

所以我想知道在首先对直接流应用转换然后调用foreachRDD而不是只做后者时是否会有任何明显的区别。

1 个答案:

答案 0 :(得分:0)

不同之处在于您在调用<?php $id = $_GET['id']; echo $id; ?> 时执行的转换。从docs开始,transform()采用函数: transform(func)。根据{{​​1}}的实施情况,结果会有所不同。

用Spark的术语简化DAG:

DStream.transform()。foreachRDD()转换 - &gt;操作

DStream.foreachRDD()只是行动