为什么在Spark中每个阶段的任务数量都在不断增加？

时间：2019-04-05 21:15:40

标签： apache-spark

我的Spark应用程序在80个分区上运行。我假设在Spark UI中看到大多数“阶段”具有80个或更少的任务。我一开始就是这样，但是每隔几个阶段它就会开始上升。我没有做任何分区或合并声明。是什么原因导致这种行为？阶段0在底部：

Stage 0 is at the bottom

0 个答案:

没有答案
相关问题
最新问题