Python:从多个CSV文件读取数据到列表

时间:2017-03-01 08:07:26

标签: python arrays list csv multidimensional-array

我正在使用Python 3.5来浏览目录和子目录以访问csv文件,并使用这些文件中的数据填充数组。代码遇到的第一个csv文件如下所示:

csv data file

我的代码如下:

import matplotlib.pyplot as plt
import numpy as np
import os, csv, datetime, time, glob

gpheight = []
RH = []
dewpt = []
temp = []
windspd = []
winddir = []

dirpath, dirnames, filenames = next(os.walk('/strm1/serino/DATA'))

count2 = 0
for dirname in dirnames:
    if len(dirname) >= 8:
        try:
            dt = datetime.datetime.strptime(dirname[:8], '%m%d%Y')
            csv_folder = os.path.join(dirpath, dirname)
            for csv_file2 in glob.glob(os.path.join(csv_folder, 'figs', '0*.csv')):
                if os.stat(csv_file2).st_size == 0:
                    continue
                #create new arrays for each case
                gpheight.append([])
                RH.append([])
                temp.append([])
                dewpt.append([])
                windspd.append([])
                winddir.append([])
                with open(csv_file2, newline='') as f2_input:
                    csv_input2 = csv.reader(f2_input,delimiter='    ')
                    for j,row2 in enumerate(csv_input2):
                        if j == 0:
                            continue #skip header row
                        #fill arrays created above
                        windspd[count2].append(float(row2[5]))
                        winddir[count2].append(float(row2[6]))
                        gpheight[count2].append(float(row2[1]))
                        RH[count2].append(float(row2[4]))
                        temp[count2].append(float(row2[2]))
                        dewpt[count2].append(float(row2[3]))
                count2 = count2 + 1
        except ValueError as e:
            pass

我已经设置为每个新的csv文件创建一个新数组。但是,当我打印第三个(温度)列时,

for n in range(0,len(temp)):
    print(temp[0][n])

它只会部分打印该数据列:

-70.949997
-68.149994
-60.449997
-63.649994
-57.449997
-51.049988
-45.349991
-40.249985
-35.549988
-31.249985
-27.149994
-24.549988
-22.149994
-19.449997
-16.349976
-13.25
-11.049988
-8.949982
-6.75
-4.449982
-2.25
-0.049988

此外,我认为一个相关问题是,当我这样做时,

print(temp)

打印full temp

突出显示的部分是属于这一个csv文件的部分,因此应该在一个数组中。最后还有其他空数组,不应该存在。

我之前(未显示)一段代码执行相同的操作,但使用不同的csv文件,并且按预期工作,将每个文件的数据分成新数组,没有空数组。我感谢任何帮助!

1 个答案:

答案 0 :(得分:0)

问题在于我使用了trypass。符合我的条件的所有文件都已满足,但其中一些文件的内容被读取有问题,这导致我稍后在代码中收到的错误。对于希望使用trypass的任何人,请确保您能够安全地传递代码块可能遇到的任何异常。否则,它可能会在以后引起问题。如果你没有传递它,你可能仍然会收到错误,但这会迫使你适当地修复它而不是忽略它。

相关问题