Question

我正在构建一个使用Python和MySQLdb运行MySQL查询的线程类。我不明白为什么运行这些查询线程比运行非线程更慢。这是我的代码，以显示我正在做什么。

首先，这是非线程函数。

def testQueryDo(query_list):

    db = MySQLdb.connect('localhost', 'user', 'pass', 'db_name')
    cursor = db.cursor()

    q_list = query_list
    for each in q_list:
        cursor.execute(each)
        results = cursor.fetchall()

    db.close()

这是我的线程类：

class queryThread(threading.Thread):

    def __init__(self, queue):
        threading.Thread.__init__(self)
        self.queue = queue

        self.db = MySQLdb.connect('localhost', 'user', 'pass', 'db_name')
        self.cursor = self.db.cursor()

    def run(self):
        cur_query = self.queue.get()
        self.cursor.execute(cur_query)
        results = self.cursor.fetchall()
        self.db.close()
        self.queue.task_done()

这是处理程序：

def queryHandler(query_list):
    queue = Queue.Queue()

    for query in query_list:
        queue.put(query)

    total_queries = len(query_list)
    for query in range(total_queries):
        t = queryThread(queue)
        t.setDaemon(True)
        t.start()

    queue.join()

我不确定为什么这个线程代码运行得更慢。有趣的是，如果我使用相同的代码，只做一些简单的事情，如添加数字，线程代码显着更快。

我明白我必须遗漏一些完全明显的东西，不过我们会非常感谢任何支持！

Answer 1

您正在启动N个线程，每个线程都创建自己与MySQL的连接，并且您正在使用同步队列将查询传递给线程。每个线程在queue.get()上阻塞（获取独占锁）以获取查询，然后创建与数据库的连接，然后调用task_done()以允许下一个线程继续。因此，当线程1工作时，N-1线程什么都不做。锁获取/释放的这种开销加上串行创建和关闭到数据库的多个连接的额外开销加起来。

为什么Python中的线程MySQLdb查询比相同的非线程查询慢？

1 个答案: