如何实现处理URL的工作线程队列

时间:2012-04-23 19:59:01

标签: python multithreading

我是python的新手,并且在线程和队列方面存在一些问题。

基本上我有一个URL文件,并且想要创建一个由10个工作人员组成的队列,这些队列按顺序解析文件并执行urllib2请求。

我无法理解它!有人可以用一些简单的链接或代码来帮助吗?

谢谢,马特

2 个答案:

答案 0 :(得分:5)

内置的“队列”模块可以为您的应用创建一个良好的底层队列。它为您处理所有多线程锁定语义。

http://docs.python.org/library/queue.html

您可以加载文件,填充队列,启动工作线程,让它们从队列中拉出来并完成工作。

答案 1 :(得分:0)

这个python threadpool模块对你描述的内容非常有帮助。作者有一些关于如何在主页和文档中使用它的示例。

http://www.chrisarndt.de/projects/threadpool/

相关问题