Apache Pig,禁止“输出位置验证失败”“输出目录...已经存在”

时间:2012-05-04 02:07:14

标签: java hadoop apache-pig

在使用this question从orangeoctopus获得帮助后,我现在需要禁止显示“输出位置验证失败”消息“输出目录...已存在”。我知道目录存在,我想要那样。我很确定这将覆盖我的存储UDF中的某些内容,但我无法弄清楚是什么。完全不熟悉Java所以请耐心等待。提前谢谢。

2 个答案:

答案 0 :(得分:3)

据我所知,你不能重用直接输出目录。 Hadoop阻止了它。如果我理解正确,你正在处理日常日志,因此,我建议你设置一个父输出目录,称为输出,并将脚本中的输出目录设置为output / daily_date。

答案 1 :(得分:0)

在存储操作之前删除输出目录:

rmf $outpath;
相关问题