pyspark:读取csv文件时的AnalysisException

时间:2018-05-28 07:41:20

标签: pyspark

我是pyspark的新手。我正在将我的项目迁移到pyspark。我试图从S3读取csv文件并从中创建df。文件名分配给变量cfg_file,我使用键变量从S3读取。我可以使用pandas做同样的事情但是当我使用spark读取时得到AnalysisException。我正在使用boto lib进行S3连接

df = spark.read.csv(StringIO.StringIO(Key(bucket,cfg_file).get_contents_as_string()),  sep=',')

AnalysisException:u'路径不存在:file:

0 个答案:

没有答案
相关问题