python的作业队列实现

Question

你知道/使用python的任何分布式作业队列吗？你可以分享链接或工具吗

Answer 1

Pyres是一个用python构建的resque克隆。 Github使用Resque作为其消息队列。两者都使用Redis作为队列后端，并提供基于Web的监控应用程序。

http://binarydud.github.com/pyres/intro.html

Answer 2

除了多处理之外，还有Celery项目，如果您使用的是Django。

Answer 3

你可以在这里找到Sylvain Hellegouarch的“bucker”：

• http://trac.defuze.org/wiki/bucker

它描述了这样：

• bucker是一个队列系统，支持队列的多个存储（memcached，现在是Amazon SQS），并由客户端和队列服务器之间通过TCP连接发送的XML消息驱动。

Answer 4

查看beanstalkd

Answer 5

redqueue？ 它在python + tornado框架中实现，使用memcached协议并且可选地持久保存到日志文件中。 目前它也可以表现得像beanstalkd，即memcache协议中的保留/删除方式。

REDQUEUE

Answer 6

如果您认为Celery太重了，那么您可能需要查看简单的分布式任务队列：

• https://github.com/rojkov/taskqueue
• http://simpletaskqueue.readthedocs.org/

Answer 7

这是迟了一年或者其他什么，但这是我一起攻击的事情，使进程队列一次只执行X号。 http://github.com/goosemo/job_queue

Answer 8

您可能希望查看多处理的队列。包含在Python 2.6中，在PyPI上获取早期版本的Python。

标准库文档：http://docs.python.org/library/multiprocessing.html 关于PyPI：http://pypi.python.org/pypi/multiprocessing

Answer 9

还有Unix'at'

欲了解更多信息：

的男人