Hadoop中的Java堆空间错误

时间:2015-01-29 11:37:14

标签: java linux hadoop memory

我设置了具有单个节点的hadoop集群作为
操作系统:CentOS Linux版本7.0.1406
Hadoop :2.6.0
Java :1.7

我的问题是hadoop堆内存。我正在成功地在减速器设置步骤中读取50 MB的文件,但是当文件大于大约(500MB)时,它会给我"内存不足错误"。当我浏览http:/ ip_address:50070 / dfshealth.html#tab-overview时,它会向我提供以下信息。

堆内存使用了282.52 MB的471 MB堆内存。最大堆内存为8.89 GB。

更多错误描述:

Map-Reduce Framework
        Map input records=176
        Map output records=512299
        Map output bytes=26127249
        Map output materialized bytes=27151853
        Input split bytes=108
        Combine input records=0
        Spilled Records=512299
        Failed Shuffles=0
        Merged Map outputs=0
        GC time elapsed (ms)=87
        CPU time spent (ms)=4410
        Physical memory (bytes) snapshot=277155840
        Virtual memory (bytes) snapshot=903360512
        Total committed heap usage (bytes)=202375168
File Input Format Counters
        Bytes Read=846327

配置中缺少什么。有人可以帮帮我吗?

0 个答案:

没有答案