列出HDFS文件时出现Segmentation Fault 11

时间:2019-04-19 18:28:19

标签: python anaconda conda pyarrow libhdfs

抱歉,因为我不足够正确地提出这个问题;我所知道的是,我遇到了分段错误:每当我尝试使用PyArrow和Python3中的libhdfs3驱动程序列出存储在HDFS上的多个文件时,都会出现11错误:

Python 3.7.1 | packaged by conda-forge | (default, Nov 13 2018, 10:30:07) 
[Clang 4.0.1 (tags/RELEASE_401/final)] :: Anaconda, Inc. on darwin

这是我正在运行的代码:

import pyarrow as pa
fs = pa.hdfs.connect('localhost', 8020, driver='libhdfs3')

这可以很好地连接到HDFS,因此我可以运行:

>>> fs.ls("/user/dan/", detail=False)
['/user/dan/testing'] # this directory has 2 files in it

>>> fs.ls("/user/dan/testing", detail=False)
Segmentation fault: 11

有趣的是,如果我删除其中一个文件...

>>> fs.ls("/user/dan/testing", detail=False)
['/user/dan/testing/C5116966@05.json']

...它可以工作,并且不能出现段错误。

由于我什至不知道我的环境的哪个部分可能会导致此问题(Python,Pyarrow,libhdfs3?),所以我不确定要进行故障排除时甚至搜索什么。

任何想法或建议都将不胜感激!

0 个答案:

没有答案