reduceByKey时经常使用FULL GC

时间:2017-01-26 08:53:04

标签: java apache-spark garbage-collection

我在spark中运行reduceByKey时出现性能问题,打开GC日志后,我发现问题发生在频繁的FULL GC上。

  

751.718:[全GC(人类工效学)[PSYoungGen:356320K-> 0K(1864192K)] [ParOldGen:4890231K-> 5043998K(5592576K)] 5246551K-> 5043998K(7456768K),[Metaspace:65608K-> ; 65608K(1107968K)],11.6391872秒] [时间:用户= 69.96 sys = 0.09,实际= 11.64秒]   764.221:[全GC(人机工程学)[PSYoungGen:806098K-> 0K(1864192K)] [ParOldGen:5043998K-> 5346213K(5592576K)] 5850097K-> 5346213K(7456768K),[Metaspace:65608K-> 65608K( 1107968K)],21.0566545秒] [时间:用户= 141.88 sys = 0.29,实际= 21.05秒]   786.932:[全GC(人机工程学)[PSYoungGen:932352K-> 122871K(1864192K)] [ParOldGen:5346213K-> 5592398K(5592576K)] 6278565K-> 5715270K(7456768K),[Metaspace:65608K-> 65608K( 1107968K)],12.0117213秒] [时间:用户= 69.77 sys = 0.05,实际= 12.01秒]   800.961:[全GC(人机工程学)[PSYoungGen:932352K-> 335016K(1864192K)] [ParOldGen:5592398K-> 5592312K(5592576K)] 6524750K-> 5927328K(7456768K),[Metaspace:65889K-> 65889K( 1110016K)],22.2050083秒] [时间:用户= 141.05 sys = 0.27,真实= 22.20秒]

我想知道:

  1. 为什么在FULL GC之前没有发生微小的GC?
  2. reduceByKey会发生什么?什么执行消耗内存?
  3. 如何减少FULL GC?
  4. 非常感谢!

0 个答案:

没有答案