为什么Hadoop Job会在一段时间后运行一段时间后放慢速度?

时间:2012-01-16 13:45:25

标签: garbage-collection hadoop mapreduce

我有一个2个节点的Hadoop集群,运行最新的稳定版本(hadoop-0.20.203.0)。

我在地图功能中做了一些内存密集型工作。我的工作在前几次运行时运行正常。

但现在它放慢速度并在一段时间后终止。 我尝试清理mapred.local.dir和mapred.tmp.dir,但没有帮助。

有时会说“GC开销”。 有时它显示“刚被杀”。

0 个答案:

没有答案