dask处理任务两次

Question

我注意到dask图的任务可以由不同的工作人员多次执行。

此外，我在调度程序控制台中看到该日志（不知道它是否与弹性相关）：

  

“警告 - 在发送结果时丢失与...的连接：流是   闭合“

有没有办法阻止dask在不同的工作人员上执行两次相同的任务？

请注意我正在使用： dask 0.15.0 分发1.15.1

THX

贝特朗

Answer 1

简短的回答是“不”。

Dask保留多次致电您的功能的权利。如果工作人员出现故障或者Dask执行某些负载平衡并在群集中移动某些任务而他们刚刚启动的同时，则可能会发生这种情况。

但是，通过关闭工作窃取，您可以显着降低任务运行多次的可能性：

def turn_off_stealing(dask_scheduler):
    dask_scheduler.extensions['stealing']._pc.stop()

client.run(turn_off_stealing)