Question

我需要根据给定的时间分割几个csv文件。在这些文件中，时间值以秒为单位，并在“时间”列中给出。

例如，如果我想在0.1秒内拆分aaa.csv文件，则需要将时间为0.0到0.1（附件中的第1到8个）的第一行记录写入{{1} }，然后将时间大于0.1到0.2（附加文件中的第9到21）的行添加到aaa1.csv，依此类推...（基本上是给定时间的倍数）。

输出文件需要与输入文件具有相同的名称，并在末尾加上数字。并且需要将输出文件写入其他位置/文件夹。时间值必须是一个变量。因此，一次我可以分割0.1秒，而另一次我可以分割0.7秒，依此类推。

我如何为此编写Python脚本？该文件如下所示（可以从https://fil.email/vnsZsp7b下载整个119K文件）：

aaa2.csv

Answer 1

您只需要使用pandas对数据框进行逻辑运算即可。✔️

此答案的结尾，我有一个“脚本想法”可以自动执行此操作，但首先让我们逐步进行：

# Load the files using pandas
import pandas as pd

df = pd.read_csv("/Users/serafeim/Downloads/Testfile.csv")

# Get the desired elements based on 'Time' column
mask = df['Time'] < 0.1

# Write the new file
df_1 = df[mask] # or directly use: df_1 = df[df['Time'] < 0.1]

# save it 
df_1.to_csv("Testfile1.csv")

print(df_1)
    No.      Time  Length
0    1  0.000000     146
1    2  0.006752     116
2    3  0.019767     156
3    4  0.039635     144
4    5  0.060090     147
5    6  0.069165     138
6    7  0.079700     133
7    8  0.099397     135

#For 0.1 to 0.2 applying 2 logical conditions
df_2 = df[(df['Time'] > 0.1) & (df['Time'] < 0.2)]

脚本构想：

import pandas as pd
import numpy as np

mystep = 0.2 # the step e.g. 0.2, 0.4, 0.6 

df = pd.read_csv("/Users/serafeim/Downloads/Testfile.csv")

def data_splitter(df):
    max_time = df['Time'].max() # get max value of Time for the current csv file (df)
    myrange= np.arange(0, df['Time'].max(), mystep) # build the threshold range
    for k in range(len(myrange)):
        # build the upper values 
        temp = df[(df['Time'] > myrange[k]) & (df['Time'] < myrange[k] + step)]
        temp.to_csv("/Users/serafeim/Downloads/aaa_{}".format(k))

最后，您可以创建一个循环，并在df函数中逐个传递每个data_splitter()。

要弄清楚该函数的功能，如下所示：

for k in range(len(myrange)):
    print myrange[k], myrange[k]+step

此打印：

0.0 0.2
0.2 0.4
0.4 0.6000000000000001
0.6000000000000001 0.8
0.8 1.0

因此，它将根据当前.csv文件的Time列的最大值自动创建上下阈值。

Answer 2

contents, output_list = list(), list()

with open("/home/prasanth-8508/Downloads/Test/Testfile.csv") as f:
    contents.append(f.read().replace('"', ""))

contents = ''.join(contents).split('\n')
header = contents[0]
contents = contents[1:]
op_file_counter = 1
split_num = 0.0
i = 0
contents = list(filter(None, contents))

while i < len(contents)-1:
    print(i)
    try:
        row = contents[i].split(",")
        if str(float(row[1])).startswith(str(split_num)[0:str(split_num).index(".")+2], 0, str(split_num).index(".")+2):
            output_list.append(contents[i])
            i += 1
        else:
            if len(output_list) > 0:
                with open("/home/prasanth-8508/Downloads/Test/file" + str(op_file_counter) + ".csv", "a+") as f:
                    f.write(header+'\n')
                    for j in output_list:
                        f.write(j+'\n')
                op_file_counter += 1
                output_list = list()
            split_num += 0.1
            split_num = round(split_num,1)
    except IndexError:
        break

with open("/home/prasanth-8508/Downloads/Test/file" + str(op_file_counter) + ".csv", "a+") as f:
    f.write(header+'\n')
    for j in output_list:
        f.write(j+'\n')

print('File written successfully')

以下是执行程序后获得的示例文件的链接：link

运行该程序后，我得到了600多个文件，该文件太大而无法共享。

如何根据给定条件将一个csv文件拆分为多个csv？

2 个答案: