在https://distributed.dask.org/en/latest/actors.html#motivation上,我读了@click
。
这真的是调度程序的上限吗,还是可以通过某种方式增加它?
我要一个用例,其中有一个Dask分布式计算图,用于处理图像数据。图像是逐帧处理的,所以我假设每一帧都算作(至少)一项任务?
所以我可以推断出Dask群集的上限是每秒4000帧吗?
感谢您的帮助/信息/解决方法!
答案 0 :(得分:0)
这真的是调度程序的上限吗?
今天是。
所以我假设每一帧都算作(至少)一项任务?
不一定,您可以通过多种方式组织事物。大多数Dask集合(例如Dask数组,Dask数据框和Dask包)将自动为您分批处理。
请参见https://docs.dask.org/en/latest/best-practices.html#avoid-very-large-graphs