Question

对于这个dask代码：

def inc(x): 
  return x + 1

for x in range(5):
  array[x] = delay(inc)(x)

我想通过执行延迟的任务来访问array中的所有元素。但我无法调用array.compute()，因为array不是函数。如果我做

for x in range(5):
  array[x].compute()

然后每个任务是并行执行还是仅在a[1]终止后a[0]被解雇？有没有更好的方法来编写这段代码？

Answer 1

您可以使用dask.compute功能一次计算多个延迟值

from dask import delayed, compute

array = [delayed(inc)(i) for i in range(5)]
result = compute(*array)

Answer 2

如果强迫它们花费很长时间，很容易判断事情是否并行执行。如果您运行此代码：

from time import sleep, time
from dask import delayed

start = time()

def inc(x):
    sleep(1)
    print('[inc(%s): %s]' % (x, time() - start))
    return x + 1

array = [0] * 5
for x in range(5):
    array[x] = delayed(inc)(x)

for x in range(5):
    array[x].compute()

很明显，呼叫是按顺序发生的。但是，如果用这个替换最后一个循环：

delayed(array).compute()

然后你可以看到它们并行。在我的机器上，输出如下所示：

[inc(1): 1.00373506546]
[inc(4): 1.00429320335]
[inc(2): 1.00471806526]
[inc(3): 1.00475406647]
[inc(0): 2.00795912743]

显然，它执行的前四个任务是并行的。据推测，默认并行性设置为机器上的核心数，因为对于CPU密集型任务而言，拥有更多内核通常并不常用。

发射一系列并行任务

2 个答案: