无法插入Sqlite3数据库

时间:2015-10-30 15:53:31

标签: python multithreading sqlite threadpool

我非常绝望,因为我尽我所能使它工作但没有成功......我已经创建了一个池,它正在处理一些文本行,然后将它们插入到数据库中。问题是它没有插入表中。

我知道这可能是因为多个工作人员试图修改数据库,但我已经尝试了很多东西来避免这种情况。

例如this(这是将url插入索引表的方法):

def insert_into_index(self, url):
    self.lock.acquire()
    self.cur.execute('INSERT INTO index VALUES(?)', (url,))
    self.conn.commit()
    self.lock.release()

或者这个(方法的每个新用法都有它自己的光标):

def insert_into_index(self, url):
    cur = self.conn.cursor()
    cur.execute('INSERT INTO index VALUES(?)', (url,))
    self.conn.commit()

我创建池的代码段:

 """ CREATE A POOL """

    pool = Pool(50)
    for category in categories[1:2]:
        task = pool.apply_async(index, args=(category.strip('\n'),))
        task.get()

    pool.close()
    pool.join()

    """ POOL END """

Index()是一个创建类leaf(text)实例的方法,它使用文本做一些事情,获得​​strings的列表并尝试insert它们进入数据库。

class leaf():
    def __init__(self, url):
        self.url = url
        self.results = self.get_all_hrefs(url)
        self.dbm = database_file.manager()

        for res in self.results:
              self.dbm.insert_into_index(res)

但我在表索引中没有任何内容。我已经尝试过我所知道的一切但没有成功。你能给我一个建议吗?

编辑:当我将task.get()附加到循环中时,这是一个错误。

line 86, in execute
    task.get()
  File "C:\Python27\lib\multiprocessing\pool.py", line 567, in get
    raise self._value
sqlite3.OperationalError: near "index": syntax error

但我觉得它没有说明什么,因为语法与另一个顺序调用并且有效的方法完全相同。

1 个答案:

答案 0 :(得分:2)

indexkeyword。 您必须引用它,或使用其他名称。