Spark的动态分配政策有问题。
有时，当集群中的某个节点死亡时，该框中的执行者是剩余的执行者超过60秒（心跳超时为5分钟）。结果，ExecutorAllocationManager删除了所有其他执行程序。最后，最后一个执行者超时，剩下的执行者为零。 ExecutorAllocationManager不再请求。
相关火花设置：
spark.shuffle.consolidateFiles true
spark.shuffle.service.enabled true
spark.dynamicAllocation.enabled true
我能够通过将spark.dynamicAllocation.minExecutors设置为大于死群集节点上剩余的执行程序数量的值来解决此问题，但是我对该解决方案并不满意。