跳过失败的地图作业

时间:2013-10-18 03:46:25

标签: hadoop mapreduce apache-pig

有没有办法跳过一个失败的地图作业而不是杀死整个工作?我有成千上万的地图工作都运行正常,总是这个烦人的上一个地图工作需要永远,并最终杀死了大工作。

有没有办法设置一般设置,例如“忽略失败”或可忽略的地图百分比?

我不是在寻找100%数据的完美结果,95%的良好估计就足够了。

1 个答案:

答案 0 :(得分:3)

你可以使用mapred.max.map.failures.percent(新版本2.1.0中的mapreduce.map.failures.maxpercent)和mapred.max.reduce.failures.percent属性来控制你的工作失败

http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/DeprecatedProperties.html