Question

我在 S3 存储桶中有一个 CSV 文件（逗号分隔）。很少有字段有逗号，CSV 文件如下所示：

Q,W,E,R
A,S,"D,F",G
Z,X,C,V

当我在 pandas 中阅读此内容时，我应该得到 4 列，其中 "D,F" 为一列，但我得到了额外的一列。

我的代码；我尝试了不同的东西，但所有尝试都不起作用：

import io
import csv
import pandas as pd

#encoding
result = chardet.detect(self.raw_content)
self.encoding = result['encoding']

#csv_delimiter 
is being read from the DB ( , in this case)

#max_columns 
is NUMBER of columns in the csv file

#reading from s3 bucket
self.raw_content = obj['Body'].read()
content = io.BytesIO(self.raw_content)

#Try 1
df_s3_file = pd.read_csv(content, delimiter=csv_delimiter, engine='python',
    dtype=object, encoding=self.encoding, quotechar='"',
    names=list(range(0,max_columns)))

#Try 2
df_s3_file = pd.read_csv(content, delimiter=csv_delimiter, engine='python',
    dtype=object, encoding=self.encoding, quoting=csv.QUOTE_ALL,
    names=list(range(0,max_columns)))

#Try 3
df_s3_file = pd.read_csv(content, delimiter=csv_delimiter, dtype=object,
    encoding=self.encoding, quoting=csv.QUOTE_ALL,
    names=list(range(0,max_columns)))

当前结果：

0    1    2    4    5
Q    W    E    R    NaN
A    S    "D   F"   G
Z    X    C    V    NaN

预期结果：

0    1    2    4
Q    W    E    R
A    S    D,F  G
Z    X    C    V

Answer 1

您可以使用以下代码进行处理（https://stackoverflow.com/a/64456792/5660315 之后）：

from io import StringIO
import csv
import pandas as pd

s="""
Q,W,E,R
A,S,"D,F",G
Z,X,C,V
"""
df = pd.read_csv(StringIO(s),
                 names=range(4),
                 sep=',',
                 quoting=csv.QUOTE_ALL,
                 quotechar='"'
                )
print(df)
#    0  1    2  3
# 0  Q  W    E  R
# 1  A  S  D,F  G
# 2  Z  X    C  V

用双引号括起来的逗号读取csv

1 个答案: