失败任务和被杀任务尝试之间的区别?

时间:2012-09-07 15:21:47

标签: mapreduce

失败的任务尝试是否会抛出未处理的异常? 谁将终止被杀任务的尝试? 被杀死的任务是否会尝试任何异常?

1 个答案:

答案 0 :(得分:0)

例如,如果Hadoop拥有相应的资源并且当前正在运行的地图任务执行速度非常慢,那么Hadoop将再次启动地图任务。如果正在运行的映射任务失败,它会尝试启动任务的第二个实例(Speculative Execution)。这使您有两个关于工作结果的选项。之前启动的map任务最终会完成,hadoop将终止第二个map任务(这将留下你一个被杀死的任务),因为它不再需要或第一个任务将失败然后(希望)第二个任务一个会成功(这会让你失败一个任务)。至少这是我从谷歌周围所理解的。以下是本书中对此解释的链接: Hadoop:Speculative Execution

希望我帮忙!

干杯