我想将一个 csv 文件的行写入另一个 csv 文件。我还想更改每一行的内容,如果该行为空,则它保持为空,如果不是,则省略字符串开头和结尾的任何空格。原始csv文件只有一列65422771行。
我写了以下内容将原始 csv 文件的行写入新文件:
import csv
csvfile = open('data.csv', 'r')
with open('data 2.csv', "w+") as csv_file1:
writer = csv.writer(csv_file1)
count = 0
for row in csvfile:
row = row.replace('"', '')
count+= 1
print(count)
if row.strip() == '':
writer.writerow('\n')
else:
writer.writerow(row)
然而,当新的 csv 文件制作完成时,显示它有 130845543 行(= 计数)!新 csv 文件的大小也是原始文件大小的 2 倍。如何创建行数完全相同但对它们进行了上述更改的新 csv 文件?
答案 0 :(得分:0)
试试这个:
import csv
with open('data.csv', 'r') as file:
rows = [[row[0].strip()] for row in csv.reader(file)]
with open('data_out.csv', "w", newline = "") as file:
writer = csv.writer(file)
writer.writerows(rows)
此外,正如@tripleee 所提到的,您的文件非常大,因此您可能想分块读取/写入它。你可以使用熊猫。
import pandas as pd
chunksize = 10_000
for chunk in pd.read_csv('data.csv', chunksize = chunksize, header = None):
chunk[0] = chunk[0].str.strip()
chunk.to_csv("data_out.csv", mode="a", header = False, index = False)