我有一堆CSV文件（下例中只有两个）。每个CSV文件有6列。我想进入每个CSV文件，复制前两列并将它们作为新列添加到现有CSV文件中。
到目前为止，我有：
import csv
f = open('combined.csv')
data = [item for item in csv.reader(f)]
f.close()
for x in range(1,3): #example has 2 csv files, this will be automated
n=0
while n<2:
f=open(str(x)+".csv")
new_column=[item[n] for item in csv.reader(f)]
f.close()
#print d
new_data = []
for i, item in enumerate(data):
try:
item.append(new_column[i])
print i
except IndexError, e:
item.append("")
new_data.append(item)
f = open('combined.csv', 'w')
csv.writer(f).writerows(new_data)
f.close()
n=n+1
这个有用，它不漂亮，但它有效。 但是，我有三个小烦恼：
我打开每个CSV文件两次（每列一次），这很不优雅
当我打印combined.csv文件时，它会在每行后面打印一个空行？
我必须提供一个combined.csv文件，其中至少包含与我可能拥有的最大文件一样多的行。由于我真的不知道这个数字是什么，这有点糟透了
一如既往，非常感谢任何帮助!!
根据要求： 1.csv看起来像（模拟数据）
1,a
2,b
3,c
4,d
2.csv看起来像
5,e
6,f
7,g
8,h
9,i
combined.csv文件应该看起来像
1,a,5,e
2,b,6,f
3,c,7,g
4,d,8,h
,,9,i
答案 0 :(得分：6)
import csv
import itertools as IT
filenames = ['1.csv', '2.csv']
handles = [open(filename, 'rb') for filename in filenames]
readers = [csv.reader(f, delimiter=',') for f in handles]
with open('combined.csv', 'wb') as h:
writer = csv.writer(h, delimiter=',', lineterminator='\n', )
for rows in IT.izip_longest(*readers, fillvalue=['']*2):
combined_row = []
for row in rows:
row = row[:2] # select the columns you want
if len(row) == 2:
combined_row.extend(row)
else:
combined.extend(['']*2)
writer.writerow(combined_row)
for f in handles:
f.close()
第for rows in IT.izip_longest(*readers, fillvalue=['']*2):行
可以通过一个例子来理解：
In [1]: import itertools as IT
In [2]: readers = [(1,2,3), ('a','b','c','d'), (10,20,30,40)]
In [3]: list(IT.izip_longest(readers[0], readers[1], readers[2]))
Out[3]: [(1, 'a', 10), (2, 'b', 20), (3, 'c', 30), (None, 'd', 40)]
如您所见，IT.izip_longest的行为与zip非常相似，只是在消耗最长的可迭代时它不会停止。默认情况下，它会使用None填充缺少的项目。
如果readers中有超过3项，会发生什么？
我们想写
list(IT.izip_longest(readers[0], readers[1], readers[2], ...))
但这很费力，如果我们事先不知道len(readers)，我们甚至无法用明确的东西替换省略号（...）。
Python有一个解决方案：the star (aka argument unpacking) syntax：
In [4]: list(IT.izip_longest(*readers))
Out[4]: [(1, 'a', 10), (2, 'b', 20), (3, 'c', 30), (None, 'd', 40)]
请注意，结果Out[4]与结果Out[3]相同。
*readers告诉Python解包readers中的项目，并将它们作为单独的参数发送到IT.izip_longest。
这就是Python允许我们向函数发送任意数量的参数的方法。
答案 1 :(得分：6)
现在，似乎有必要为Python中的任何数据处理问题提供基于pandas的解决方案。所以这是我的：
import pandas as pd
to_merge = ['{}.csv'.format(i) for i in range(4)]
dfs = []
for filename in to_merge:
# read the csv, making sure the first two columns are str
df = pd.read_csv(filename, header=None, converters={0: str, 1: str})
# throw away all but the first two columns
df = df.ix[:,:1]
# change the column names so they won't collide during concatenation
df.columns = [filename + str(cname) for cname in df.columns]
dfs.append(df)
# concatenate them horizontally
merged = pd.concat(dfs,axis=1)
# write it out
merged.to_csv("merged.csv", header=None, index=None)
对于文件
~/coding/pand/merge$ cat 0.csv
0,a,6,5,3,7
~/coding/pand/merge$ cat 1.csv
1,b,7,6,7,0
2,c,0,1,8,7
3,d,6,8,4,5
4,e,8,4,2,4
~/coding/pand/merge$ cat 2.csv
5,f,6,2,9,1
6,g,0,3,2,7
7,h,6,5,1,9
~/coding/pand/merge$ cat 3.csv
8,i,9,1,7,1
9,j,0,9,3,9
给出
In [21]: !cat merged.csv
0,a,1,b,5,f,8,i
,,2,c,6,g,9,j
,,3,d,7,h,,
,,4,e,,,,
In [22]: pd.read_csv("merged.csv", header=None)
Out[22]:
0 1 2 3 4 5 6 7
0 0 a 1 b 5 f 8 i
1 NaN NaN 2 c 6 g 9 j
2 NaN NaN 3 d 7 h NaN NaN
3 NaN NaN 4 e NaN NaN NaN NaN
我认为是正确的对齐方式。
答案 2 :(得分：2)
这是我为解决您的问题而编写的程序。它创建了一个类，用于保存有关要读取的每个CSV文件的信息，包括您希望从中获取哪些列。然后只有一个要读取的CSV文件列表，并从每个文件中读取一行。
由于您说它需要在读取所有输入文件之前保持返回行，因此它会为已到达结尾的输入文件返回虚拟值。它会一直读取行，直到完成所有输入文件。
此外，该程序只需要在内存中一次保留一行。因此，它甚至可以处理大型CSV文件而无需太多内存。
最初我丢失数据的虚拟值为-1。现在我看到你添加了一个例子，你只想要没有价值。当没有数据时，我已经将程序从使用-1更改为使用空字符串。
其中一个设计目标是使其可扩展。现在你需要前两列，但如果你以后需要其中一个文件中的第0列，第3列和第7列呢？因此，每个文件都有一个列表，其中包含要使用的列。
我实际上并没有编写代码来将输出文件重命名为原始文件名，但这很容易添加。
理想情况下，整个事情将被包装到一个类中，您可以在其中迭代一个类实例，并使用所有输入文件中的列返回一行。我没有花费额外的时间来做这件事，但如果你长期使用它，你可能想要这样做。此外，我从不打扰关闭任何输入文件，因为我认为程序将在我们编写输出文件后结束，然后一切都会关闭;但理想情况下，我们应该在使用后关闭所有文件！
import csv
fname_in = "combined.csv"
fname_out = "combined.tmp"
lst_other_fnames = [str(x) + ".csv" for x in range(1, 3)]
no_data = ''
def _no_data_list(columns):
return [no_data for _ in columns]
class DataCsvFile(object):
def __init__(self, fname, columns=None):
self.fname = fname
self.f = open(fname)
self.reader = csv.reader(self.f)
self.columns = columns
self.done = False
def next_columns(self):
if self.done:
return _no_data_list(self.columns)
try:
item = next(self.reader)
except StopIteration:
self.done = True
return _no_data_list(self.columns)
return [item[i] for i in self.columns]
# want all columns from original file
data_csv_files = [DataCsvFile(fname_in, range(5))]
# build list of filenames and columns: want first two columns from each
data_csv_files.extend(DataCsvFile(fname, range(2)) for fname in lst_other_fnames)
with open(fname_out, "w") as out_f:
writer = csv.writer(out_f)
while True:
values = []
for df in data_csv_files:
columns = df.next_columns()
values.extend(columns)
if not all(df.done for df in data_csv_files):
writer.writerow(values)
else:
break
答案 3 :(得分：1)
这是一个例子（为了简单起见，我使用字符串io而不是文件，但这不是必需的）：
a = u"""
1,a
2,b
3,c
4,d
"""
b = u"""
5,e
6,f
7,g
8,h
9,i
"""
c = u"""
11,x
12,y
13,z
"""
import io, csv, itertools
data = []
expand = lambda it, size: it + [[''] * len(it[0])] * size
for f in [a, b, c]:
with io.StringIO(f.strip()) as fp:
d = list(csv.reader(fp))
t = len(d) - len(data)
data = d if not data else [
x + y for x, y in itertools.izip_longest(
expand(data, t), expand(d, -t))]
for r in data:
print ','.join(r)
# 1,a,5,e,11,x
# 2,b,6,f,12,y
# 3,c,7,g,13,z
# 4,d,8,h,,
# ,,9,i,,
使用真实文件（名为1.csv，2.csv等），主循环将如下所示：
for n in range(...):
with open(str(n) + '.csv') as fp:
d = list(csv.reader(fp))
t = len(d) - len(data)
data = d if not data else [
x + y for x, y in itertools.izip_longest(
expand(data, t), expand(d, -t))]