有没有办法杀死Hadoop中的reducer任务?

时间:2013-10-17 19:40:10

标签: hadoop mapreduce reduce

运行一些map减少作业,一个作业接管所有减速器容量。有没有办法杀死一个或两个reducer任务来释放集群?

我可以直接转到任务跟踪服务器之一并手动终止java进程。但我想知道是否有更好的方法来做到这一点?

3 个答案:

答案 0 :(得分:7)

您可以通过以下方式终止任务尝试:

hadoop job -kill-task [task_attempt_id]

要获取task-attempt-id,您需要更深入地处理任务(通过单击作业跟踪器上的任务超链接)。

答案 1 :(得分:2)

首先找到工作ID:

hadoop job -list

现在,杀了这份工作:

hadoop job -kill <job_ID_goes_here>

答案 2 :(得分:0)

hadoop job -kill-task [attempt-id]其中,可以从UI获取企图ID。

相关问题