抱歉,因为我不足够正确地提出这个问题;我所知道的是,我遇到了分段错误:每当我尝试使用PyArrow
和Python3中的libhdfs3
驱动程序列出存储在HDFS上的多个文件时,都会出现11错误:
Python 3.7.1 | packaged by conda-forge | (default, Nov 13 2018, 10:30:07)
[Clang 4.0.1 (tags/RELEASE_401/final)] :: Anaconda, Inc. on darwin
这是我正在运行的代码:
import pyarrow as pa
fs = pa.hdfs.connect('localhost', 8020, driver='libhdfs3')
这可以很好地连接到HDFS,因此我可以运行:
>>> fs.ls("/user/dan/", detail=False)
['/user/dan/testing'] # this directory has 2 files in it
>>> fs.ls("/user/dan/testing", detail=False)
Segmentation fault: 11
有趣的是,如果我删除其中一个文件...
>>> fs.ls("/user/dan/testing", detail=False)
['/user/dan/testing/C5116966@05.json']
...它可以工作,并且不能出现段错误。
由于我什至不知道我的环境的哪个部分可能会导致此问题(Python,Pyarrow,libhdfs3?),所以我不确定要进行故障排除时甚至搜索什么。
任何想法或建议都将不胜感激!