IgniteRDD的过滤是在Spark Application或Ignite Server中本地进行的？

Question

如果我在IgniteRDD上执行过滤器，那么过滤器会被下推到Ignite Server，或者首先Spark RDD应首先收集所有数据，然后在Spark Application中执行过滤器？

Answer 1

根本没有collect，但据我所知，案件之间有区别：

• 普通filter将使用标准的Spark执行。
• sql将由Ignite自行处理而不使用Spark。

Answer 2

这完全取决于Catalyst Optimizer。您可以检查计划以了解您的管道并查看它的执行位置。调试也可能有所帮助。

正如它解释here - IgniteRDD是Spark RDD的一个实现，用于表示Ignite缓存并使用spark API。例如，显示 - 过滤器将直接在缓存上运行。