芹菜-如何使用多个队列?

时间:2019-04-12 15:20:40

标签: python django redis celery

我想为不同的任务创建多个队列。例如,emailqueue发送电子邮件或pipedrive队列以与pipedrive API同步任务,因此email不必等待所有pipedrives都同步,反之亦然。

我是路由方面的新手,我尝试了两种创建队列的方法,但是似乎都不起作用。

  1. 这是首选方法。我试图在@task装饰器中定义队列

    @task(bind=True,  queue='pipedrivequeue')
    

    def backsync_lead(self,lead_id):

  2. settings.py

    CELERY_ROUTES = { # tried CELERY_TASK_ROUTES too
        'pipedrive.tasks.*': {'queue': 'pipedrivequeue'},
       ...
    }
    

在两种情况下,当我手动运行celery worker时,我只会看到一个默认的celery队列。

(project) milano@milano-PC:~/PycharmProjects/project$ celery -A project.celery worker -l info

 -------------- celery@milano-PC v4.2.2 (windowlicker)
---- **** ----- 
--- * ***  * -- Linux-4.15.0-47-generic-x86_64-with-Ubuntu-18.04-bionic 2019-04-12 17:17:05
-- * - **** --- 
- ** ---------- [config]
- ** ---------- .> app:         project:0x7f3b47f66cf8
- ** ---------- .> transport:   redis://localhost:6379//
- ** ---------- .> results:     redis://localhost/
- *** --- * --- .> concurrency: 12 (prefork)
-- ******* ---- .> task events: OFF (enable -E to monitor tasks in this worker)
--- ***** ----- 
 -------------- [queues]
                .> celery           exchange=celery(direct) key=celery


[tasks]
  . project.apps.apis.pipedrive.tasks.backsync_all_stages
  . project.apps.apis.pipedrive.tasks.backsync_lead

您将在此行中看到

 -------------- [queues]
                .> celery           exchange=celery(direct) key=celery

可能只有一个队列。我只想将此队列用于未指定队列的任务。

您知道问题出在哪里吗?

编辑

   (project) milano@milano-PC:~/PycharmProjects/peoject$ celery inspect active_queues
Error: No nodes replied within time constraint.

1 个答案:

答案 0 :(得分:0)

您需要使用明确命名的队列运行一个工作程序,然后django将能够输入该队列;

sudo zypper install tk-devel