suppress命令行输出hadoop fs命令

时间:2017-06-12 16:10:26

标签: hadoop command-line mapreduce suppress-warnings

我正在使用Python程序运行hadoop mapreduce作业,该程序创建不同的输入路径作为mapreduce作业的参数。在使用命令将这些输入路径传递到mapreduce之前,我正在检查hadoop fs路径是否存在:

hadoop fs -test -e 'filename'

我的Python程序然后与命令行通信并确定文件是否存在(-test在文件存在时返回0,否则返回大于1的整数)。由于Python程序检查路径存在并将所有不存在的路径输出到单独的.txt文档,因此我不需要知道哪些路径不存在作为命令行警告。

我想知道如何抑制(或忽略)自动hadoop fs输出:

test: 'fileName': No such file or directory

因为我输入了大量的路径,其中相当一部分在hadoop fs中不存在。

1 个答案:

答案 0 :(得分:1)

将错误/警告重定向至/dev/null/

hdfs dfs -test -e I/dont/exist 2>/dev/null