Question

我想每秒启动一个周期性任务，但前提是任务结束（db轮询将任务发送到芹菜）。在Celery文档中，他们使用Django缓存来锁定。

我试图使用这个例子：

from __future__ import absolute_import

import datetime
import time

from celery import shared_task

from django.core.cache import cache
LOCK_EXPIRE = 60 * 5

@shared_task
def periodic():

    acquire_lock = lambda: cache.add('lock_id', 'true', LOCK_EXPIRE)
    release_lock = lambda: cache.delete('lock_id')

    a = acquire_lock()
    if a:
        try:
            time.sleep(10)
            print a, 'Hello ', datetime.datetime.now()
        finally:
            release_lock()
    else:
        print 'Ignore'

使用以下配置：

app.conf.update(
    CELERY_IGNORE_RESULT=True,
    CELERY_ACCEPT_CONTENT=['json'],
    CELERY_TASK_SERIALIZER='json',
    CELERY_RESULT_SERIALIZER='json',
    CELERYBEAT_SCHEDULE={
        'periodic_task': {
            'task': 'app_task_management.tasks.periodic',
            'schedule': timedelta(seconds=1),
        },
    },
)

但是在控制台中，我从未看到Ignore消息，而且我每秒都有Hello消息。似乎锁定工作不正常。

我使用以下命令启动定期任务：

celeryd -B -A my_app

和工人：

celery worker -A my_app -l info

请你纠正我的误解吗？

Answer 1

关于local-memory cache的Django Cache Framework文档：

请注意，每个进程都有自己的私有缓存实例意味着不可能进行跨进程缓存。

所以基本上你的工作人员都在处理他们自己的缓存。如果您需要资源成本较低的缓存后端，我建议使用基于文件的缓存或数据库缓存，两者都允许跨进程。

Celery，定期执行任务，具有并发性

1 个答案: