Python - 批量选择然后从一个DB插入到另一个DB

时间:2011-11-21 17:13:25

标签: python sql insert bulk

我正在寻找一些关于如何使用sqlite3

在Python中执行此操作的帮助

基本上我有一个下载DB(temp)然后需要将它的记录插入第二个相同的DB(主数据库)的进程..同时忽略/绕过任何可能的重复键错误

我在考虑两个场景,但我不确定如何在Python中做到这一点

选项1:

  • 创建2个连接和光标对象,每个数据库1个
  • 从DB 1中选择,例如:

    dbcur.executemany('SELECT * from table1')
    rows = dbcur.fetchall()
    
  • 将它们插入到DB 2中:

    dbcur.execute('INSERT INTO table1 VALUES (:column1, :column2)', rows)
    dbcon.commit()
    

这当然不起作用,因为我不确定如何正确地做到这一点:)

选项2(我更喜欢,但不知道该怎么做):

  • 1声明中的SELECT和INSERT

另外,我在DB中有4个表,每个表都有不同的列,我可以跳过命名INSERT语句中的列吗?

就重复键而言,我已阅读我可以使用'ON DUPLICATE KEY'来处理 例如。

INSERT INTO table1 VALUES (:column1, :column2) ON DUPLICATE KEY UPDATE set column1=column1

2 个答案:

答案 0 :(得分:6)

您可以ATTACH两个数据库使用相同的代码建立相同的连接:

import sqlite3
connection = sqlite3.connect('/path/to/temp.sqlite')
cursor=connection.cursor()
cursor.execute('ATTACH "/path/to/main.sqlite" AS master')

在MySQL中,sqlite中没有ON DUPLICATE KEY语法。 This SO question包含替代方案。

因此,要在一个sql语句中执行批量插入,可以使用类似

的内容
cursor.execute('INSERT OR REPLACE INTO master.table1 SELECT * FROM table1')

请参阅this page for information about REPLACE和其他ON CONFLICT选项。

答案 1 :(得分:0)

选项1的代码看起来是正确的。

如果您需要过滤以绕过重复键,请插入临时表,然后使用SQL命令消除重复项并将它们合并到目标表中。