在调试模式下为任务队列运行dask分布式工作器

时间:2019-03-08 08:48:20

标签: celery dask-distributed

我正在尝试使用dask.distributed将运行时间很长的作业发送到多台计算机。每台机器应完全独立运行,并在完成一项任务时始终接听下一项任务。所以它实际上只是一个任务队列。

在celery中,我可以使用celer.work_main()运行一个工人。然后它将运行一个工人,等待作业通过Messenger(例如Redis)到达。一旦使用apply_async调用它,就可以调试该工人正在处理的作业。

在dask.distributed中有类似的功能吗?如何在调试模式下运行工作程序,并查看工作程序如何接管工作,然后通过运行的代码进行调试?

0 个答案:

没有答案
相关问题