使用python进行数据预处理

时间:2016-10-27 11:03:16

标签: python-3.x postgresql-9.1

我正在使用python读取Unicode数据,然后对其进行预处理并将其存储在数据库中(Postgres)

现在数据库有3个表,每个表包含4个属性和700,000个元组。我读取数据并根据我需要使用它的方式将其映射到python字典和列表。

现在我必须遍历所有这些元组,进行一些计算并再次在数据库中写入。

我必须像这样进行1000次迭代。问题是1次迭代需要大约50分钟,这使得无法进行那么多次迭代。

无论如何我可以更快地完成这些迭代吗?

欢迎任何新想法。在python中没有必要。

1 个答案:

答案 0 :(得分:0)

你不会说每次更新和#34;迭代"执行,但显然你正在阅读和写700万行。是否可以使用数据库来执行更新?

相关问题