Question

我在dev VM'ubuntu / trusty'下有一个项目。我将 virtualenv 与以下软件包一起使用：

celery 3.1.23
eventlet 0.18.4
django 1.8.15
mysqlclient 1.3.9

Python版本是3.4.3。 MySql版本是5.5。

我将主管与 eventlet 用作工作人员，以便在其中运行某些服务和芹菜任务。这是主管配置的一部分：

[program:celery-worker-default]
command=/home/vagrant/.virtualenvs/meridian/bin/python /vagrant/meridian/meridian/manage.py celery worker --loglevel=INFO -P eventlet -c 3 -Q default -E -n default.queue
directory=/vagrant/meridian/meridian
user=vagrant
autostart=true
autorestart=true
stdout_logfile=/var/log/supervisor/celery-worker-default-stdout.log
stderr_logfile=/var/log/supervisor/celery-worker-default-stderr.log
priority=999
stdout_logfile_maxbytes=10MB
stdout_logfile_backups=5
stderr_logfile_maxbytes=10MB
stderr_logfile_backups=5

当任务正在运行时，它们会失败并显示以下堆栈跟踪：

Traceback (most recent call last):
  File "/home/vagrant/.virtualenvs/meridian/lib/python3.4/site-packages/celery/app/trace.py", line 231, in trace_task
    loader_task_init(uuid, task)
  File "/home/vagrant/.virtualenvs/meridian/lib/python3.4/site-packages/djcelery/loaders.py", line 114, in on_task_init
    self.close_database()
  File "/home/vagrant/.virtualenvs/meridian/lib/python3.4/site-packages/djcelery/loaders.py", line 85, in close_database
    return self._close_database()
  File "/home/vagrant/.virtualenvs/meridian/lib/python3.4/site-packages/djcelery/loaders.py", line 76, in _close_database
    close()
  File "/home/vagrant/.virtualenvs/meridian/lib/python3.4/site-packages/django/db/__init__.py", line 64, in close_old_connections
    conn.close_if_unusable_or_obsolete()
  File "/home/vagrant/.virtualenvs/meridian/lib/python3.4/site-packages/django/db/backends/base/base.py", line 403, in close_if_unusable_or_obsolete
    self.close()
  File "/home/vagrant/.virtualenvs/meridian/lib/python3.4/site-packages/django/db/backends/base/base.py", line 191, in close
    self.validate_thread_sharing()
  File "/home/vagrant/.virtualenvs/meridian/lib/python3.4/site-packages/django/db/backends/base/base.py", line 421, in validate_thread_sharing
    % (self.alias, self._thread_ident, thread.get_ident()))
django.db.utils.DatabaseError: DatabaseWrapper objects created in a thread can only be used in that same thread. The object with alias 'default' was created in thread id 140089123953704 and this is thread id 140088751748512.

任何包含数据库操作的任务都将失败。

我尝试在任务正文中使用 select_for_update（）和 with atomic（）：，但没有任何成功。

我也在网上搜索过这个问题，但没有找到解决办法。

有人知道如何解决这个问题吗？

Answer 1

为Celery找到类似on_load挂钩的内容，并在其中输入以下代码：

import eventlet
eventlet.monkey_patch(MySQLdb=True)

必须在任何Django代码之前执行。

Answer 2

我找到了答案。问题是我曾经在 manage.py 管理脚本下运行芹菜：

[program:celery-worker-default]
command=/home/vagrant/.virtualenvs/meridian/bin/python /vagrant/meridian/meridian/manage.py celery worker --loglevel=INFO -P eventlet -c 3 -Q default -E -n default.queue

我已经用这种方式重写了这一行：

[program:celery-worker-default]
command=bash -c "/vagrant/meridian/meridian/start_default_queue.sh"

这是 start_default_queue.sh 的内容：

source /usr/share/virtualenvwrapper/virtualenvwrapper.sh
source /home/vagrant/.virtualenvs/meridian/bin/activate
workon meridian
exec celery worker --loglevel=INFO -P eventlet -c 3 -Q default -E -n default.queue

我不知道为什么，但直接运行芹菜工作者确定了这个神秘的问题。

使用eventlet

2 个答案: