是PYTHON Gearman Worker接受多任务

时间:2012-04-13 02:45:15

标签: gearman python-gearman

例如: 我有一个名为“URLDownload”的任务,任务的功能是从互联网上下载一个大文件。 现在我正在运行一个Worker Process,但是要下载大约1000个文件。 客户端进程很容易创建1000个任务,并将它们发送到Gearman Server。

我的问题是工作流程将逐个执行任务,或者它将同时接受多任务,

如果工作进程可以接受多任务,那么如何限制工作进程中的任务池大小。

1 个答案:

答案 0 :(得分:2)

工人一次处理一个请求。您有几个选择:

1)您可以运行多个工作人员(这是最常用的方法)。当工作人员没有处理时,工作人员会坐在poll()中,所以这个模型运行良好。

2)在worker周围编写一个fork()实现。这样,您可以启动一定数量的工作进程,但不必监视多个进程。