为什么芹菜节拍不安排定期任务?

时间:2019-12-12 08:41:14

标签: python celery celerybeat

我已经按照celery文档https://docs.celeryproject.org/en/latest/userguide/periodic-tasks.html创建了一个应用程序,并定期执行以下任务:

$ tree demo/
demo/
├── config.py
├── __init__.py
└── tasks.py

$ cat demo/__init__.py 
# -*- coding: utf-8 -*-
from celery import Celery

app = Celery('demo')
app.config_from_object('demo.config')

$ cat demo/config.py 
# -*- coding: utf-8 -*-
BROKER_URL = "redis://127.0.0.1:6379"
CELERY_TIMEZONE='UTC'
CELERY_IMPORTS = [
    "demo.tasks",
]

$ cat demo/tasks.py 
from demo import app
@app.on_after_configure.connect
def setup_periodic_tasks(sender, **kwargs):
    sender.add_periodic_task(3.0, say.s(), name='say hello every 3s')

@app.task
def say():
    print("Hello!")

然后按如下所示运行芹菜节拍:

$ celery beat -A demo -l info --max-interval 10
celery beat v4.3.0 (rhubarb) is starting.
__    -    ... __   -        _
LocalTime -> 2019-12-12 16:26:41
Configuration ->
    . broker -> redis://127.0.0.1:6379//
    . loader -> celery.loaders.app.AppLoader
    . scheduler -> celery.beat.PersistentScheduler
    . db -> celerybeat-schedule
    . logfile -> [stderr]@%INFO
    . maxinterval -> 10.00 seconds (10.0s)
[2019-12-12 16:26:41,234: INFO/MainProcess] beat: Starting...

等一会儿,没有安排任何任务。

但是,如果我更改为在配置中设置CELERYBEAT_SCHEDULE,它可以很好地工作。我可以通过如下更改demo/config.pydemo/tasks.py来做到这一点:

$ cat demo/config.py 
# -*- coding: utf-8 -*-

from datetime import timedelta

BROKER_URL = "redis://127.0.0.1:6379"

CELERY_TIMEZONE='UTC'
CELERY_IMPORTS = [
    "demo.tasks",
]

CELERYBEAT_SCHEDULE = {
    'say hello every 10 seconds': {
         'task': 'demo.tasks.say',
         'schedule': timedelta(seconds=3),
    },
}
$ cat demo/tasks.py 
from demo import app

@app.task
def say():
    print("Hello!")

然后使用与以前相同的命令运行celery beat,可以按预期每3秒安排一次定期任务。

以前的设置有什么问题?

3 个答案:

答案 0 :(得分:0)

您必须根据this userguide通过--scheduler键指定调度程序。例如,您可以在下面尝试类似以下代码的内容:

celery beat -A demo -l info --scheduler django_celery_beat.schedulers:DatabaseScheduler

P.S。我不确定--max-interval是否会干扰您的计划时间。认为最好删除此选项。恕我直言。

答案 1 :(得分:0)

Celery 4.x不使用大写的配置变量-请参见Celery文档的New lowercase settings部分。特定于调度程序的配置参数列在here中。因此,尝试将代码修改为使用beat_schedule = {而不是CELERYBEAT_SCHEDULE = {。您说过的链接也使用小写名称...

答案 2 :(得分:0)

仅供参考,我想出了另一种解决方案,将装饰器@app.on_after_configure.connect更改为@app.on_after_finalize.connect可以使其正常工作。尽管我目前不知道确切原因。