尝试执行约66个执行某些数据处理任务的python脚本。可以理解的是,三个脚本执行起来需要花费大量时间。
我如何确定需要多少个队列,以及如何确定Celery中每个队列的工作人员数量?
我们正在使用Rabbitmq和芹菜。队列与AWS上的处理器之间有任何关系吗?
令人惊讶的是,我们似乎有1:1的关系。正如内核和消息队列的数量一样。我们可以在执行这些脚本之前在运行时创建一些其他队列,然后在执行脚本之后将其关闭吗?
当我们将核心从28个增加到48个时,队列也会自动增加。
任何有关如何看待该解决方案的建议都会有所帮助。我想将执行时间减少至少一半。目前需要5个小时。