Question

我正在通过网络表单将csv文件加载到我的数据库中。

原始数据的顺序在每个csv文件中都是一致的，但是它会根据来源在不同文件之间变化，所以我有一个显示五行的预览表单，并允许您通过drop分配一个列 - 下表中的有效列名列表。

然后我使用cgi表单构建一个INSERT语句，并逐行解析csv文件以填充表。

但它的运行速度非常慢。我同时填充两个表，一个包含961402行（7列包含值），另一个包含1835538行（1列包含值），每个表至少运行半小时。我每秒只能看到100个新行。

你能在这里看到什么能减慢我的速度吗？

注意：我知道这里有一些丑陋的代码，它是我在编写这种语言时编写的第一个python cgi脚本之一。

 for item in form:
          field = form.getvalue(item)
          field = cgi.escape(field)
          if field == 'null':
                  pass
          elif item == 'csvfile':
                  pass
          elif item == 'campaign':
                  pass
          elif item == 'numfields':
                  pass
          else:
                  colname = str(colname) + ", " + str(item)

                  colnum.append(field)
  assert(numfields > 0)
  placeholders = (numfields-1) * "%s, " + "%s"
  query = ("insert into %s (%s)" % (table, colname.lstrip(",")))
  with open(fname, 'rb') as f:
          reader = csv.reader(f)
          try:
                  record = 0
                  errors = 0
                  for row in reader:
                          try:
                                  record = record + 1
                                  data = ''
                                  for value in colnum:
                                          col = int(value)
                                          rawrow = row[col]
                                          saferow = rawrow.replace("'", "-")
                                          saferow = saferow.replace("-", "")
                                          data = str(data) + ", '" + saferow + "'"
                                  dataset = data.lstrip(',')
                                  insert = query + (" values (%s)" % dataset)
                                  cur.execute(insert)
                                  con.commit()
                                  print ".",
                          except IndexError, e:
                                  print "Row:%d file %s, %s<br>" % (reader.line_num, fname.lstrip("./files/"), e)
                                  errors = errors + 1
                          except csv.Error, e:
                                  print "Row:%s file %s, line %d: %s<br>" % (record, fname, reader.line_num, e)
                                  errors = errors + 1
                          except mdb.Error, e:
                                  print "Row:%s Error %d: %s<br>" % (record, e.args[0], e.args[1])
                                  errors = errors + 1
                          except:
                                  t,v,tb = sys.exc_info()
                                  print "Row:%s %s<br>" % (record, v)
                                  errors = errors + 1
          except csv.Error, e:
                  print "except executed<br>"
                  sys.exit('file %s, line %d: %s' % (fname, reader.line_num, e))
  print "Succesfully loaded %s into Campaign %s, <br>" % (fname.lstrip("./files/"), table)
  print record - errors, "new records.<br>"
  print errors, "errors.<br>"

编辑/更新：使用LOAD DATA LOCAL INFILE就像魅力一样，我在不到一分钟的时间里就加载了600K的记录。

新代码也更清晰。

    else:
            colnum.append([field, item])
sortlist =  sorted(colnum, key=itemgetter(0))
cols = ''
for colname in sortlist:
    cols = cols + "%s, " % colname[1]
cur.execute("LOAD DATA LOCAL INFILE '%s' IGNORE INTO TABLE %s FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n' (%s)" % (fname, table, cols.rstrip(', ')))
con.commit()

唯一的问题是我必须做更多的工作来准备我的csv文件以确保数据的完整性，否则就像魅力一样。

Answer 1

考虑到一些SQL（如mySQL）支持在单个插入命令上有一堆行或LOAD DATA语句可以快速读取CSV文件进入服务器，因此INSERT INTO，一次完成一行，非常慢。

另请参阅：https://dba.stackexchange.com/questions/16809/why-is-load-data-infile-faster-than-normal-insert-statements

Answer 2

一些快速伪代码。这样做：

for row in data_to_be_inserted:
    stmt = compose_statement("lalala")
    cursor.execute()

connection.commit()

不

for row in data_to_be_inserted:
    stmt = compose_statement("lalala")
    cursor.execute()
    connection.commit()

您的代码commit（）每行输入一次。这会大大减慢它。

为什么填充我的表需要这么长时间？

2 个答案: