推测执行Hadoop

时间:2016-01-03 04:07:10

标签: hadoop mapreduce hadoop2

我正在yahoo(https://developer.yahoo.com/hadoop/tutorial/module4.html)学习这个hadoop模块,我正在阅读推测执行部分。我的问题是这个,
由于投机执行,被遗弃的任务和丢弃的输出将在何处进行,因为根据模块

因为根据雅虎, "如果其他副本以推测方式执行,Hadoop会告诉TaskTrackers放弃任务并丢弃他们的输出"

1 个答案:

答案 0 :(得分:1)

虽然它不明确,但丢弃已放弃的任务意味着从被杀死的任务中释放资源(内存和CPU内核)并释放磁盘空间(擦除磁盘上的输出)。如果您使用YARN,节点管理器将释放容器。

原始任务或推测任务将被杀死,具体取决于先完成任务的人。如果推测任务首先完成,原始任务将被终止,如果原始任务首先完成,则推测任务将被终止。

杀死正常的java进程会发生什么?该进程使用的资源已被释放。在这种情况下也会发生同样的事情。唯一的区别是任务被优雅地杀死。

TaskAttemptKillEvent将提供有关此topic

的更多信息