将队列添加到Rabbitmq并将工作人员添加到Celery中的队列

时间:2019-05-06 11:33:20

标签: rabbitmq celery

尝试执行约66个执行某些数据处理任务的python脚本。可以理解的是,三个脚本执行起来需要花费大量时间。

我如何确定需要多少个队列,以及如何确定Celery中每个队列的工作人员数量?

我们正在使用Rabbitmq和芹菜。队列与AWS上的处理器之间有任何关系吗?

令人惊讶的是,我们似乎有1:1的关系。正如内核和消息队列的数量一样。我们可以在执行这些脚本之前在运行时创建一些其他队列,然后在执行脚本之后将其关闭吗?

当我们将核心从28个增加到48个时,队列也会自动增加。

任何有关如何看待该解决方案的建议都会有所帮助。我想将执行时间减少至少一半。目前需要5个小时。

0 个答案:

没有答案