为什么我的任务在Spark UI中成功超过任务总数？

Question

我原以为成功将等于总加或减失败。

这些数字来自哪里？

这些数字是否表明存在问题，或者它们是否重要？

Answer 1

第一个数字（3660）是成功任务的数量。第二个数字（1830）是阶段中的任务数量。您的阶段运行了两次，因此成功任务的数量是阶段中任务数量的两倍。

当多个后续阶段依赖于它们并且它们未被缓存或未被缓存部分驱逐时，可以部分或全部重新执行一个阶段。

另一种方法是，使用推测执行可以获得比总数更多的成功任务。