我的源数据是TSV文件,6列,超过200万行。
这就是我想要完成的事情:
以下是我的想法。
我的问题:这是一种有效的方法吗?在200万行上尝试时似乎可能是密集的。
首先,我制作了一个样本选项卡单独的文件,并将其命名为'sample.txt'。这是基本的,只有四行:
Row1_Column1 Row1-Column2 Row1-Column3 Row1-Column4 2 Row1-Column6
Row2_Column1 Row2-Column2 Row2-Column3 Row2-Column4 3 Row2-Column6
Row3_Column1 Row3-Column2 Row3-Column3 Row3-Column4 1 Row3-Column6
Row4_Column1 Row4-Column2 Row4-Column3 Row4-Column4 2 Row4-Column6
然后我有这个代码:
import csv
with open('sample.txt','r') as tsv:
AoA = [line.strip().split('\t') for line in tsv]
for a in AoA:
count = int(a[4])
while count > 0:
with open('sample_new.csv','ab') as csvfile:
csvwriter = csv.writer(csvfile, delimiter=',')
csvwriter.writerow([a[2], a[3]])
count = count - 1
答案 0 :(得分:123)
您应该使用csv
模块来读取制表符分隔值文件。 不一次性将其读入内存。您阅读的每一行都包含将行写入输出CSV文件所需的所有信息。始终保持输出文件打开。
import csv
with open('sample.txt','rb') as tsvin, open('new.csv', 'wb') as csvout:
tsvin = csv.reader(tsvin, delimiter='\t')
csvout = csv.writer(csvout)
for row in tsvin:
count = int(row[4])
if count > 0:
csvout.writerows([row[2:4] for _ in xrange(count)])
或使用itertools
模块重复itertools.repeat()
:
from itertools import repeat
import csv
with open('sample.txt','rb') as tsvin, open('new.csv', 'wb') as csvout:
tsvin = csv.reader(tsvin, delimiter='\t')
csvout = csv.writer(csvout)
for row in tsvin:
count = int(row[4])
if count > 0:
csvout.writerows(repeat(row[2:4], count))