增加配置单元查询的堆大小

时间:2017-06-28 22:31:56

标签: hive

我最近开始使用Unix接口或SQL工作台来开发Hive 有时我遇到一个错误,上面写着“请使用Xmx参数增加Java堆空间”。我认为这与查询的效率有关。任何人都可以给我一些关于堆大小的背景并帮助我增加它吗?

2 个答案:

答案 0 :(得分:0)

配置单元中的Java堆空间设置为默认值1024 MB。这适用于相对较小的数据和非密集型查询,但是一旦开始处理较大的表和更复杂的查询,默认值就不够了。根据您的计算机上可用的RAM数量,我会考虑将默认值加倍或增加三倍至2048 MB或3072 MB。

您可以转到/ etc / hive / conf目录并在那里编辑hive-env.sh文件。对于你来说,在那个文件中会有一个看起来像

的行
export HADOOP_HEAPSIZE=1024

你所要做的就是将这个值改为我提到的那个。如果这仍然不够,请继续增加hive,直到您的查询没有失败。确保在您执行此操作时,了解您的机器有多少内存。

答案 1 :(得分:0)

增加堆大小

例如,要将堆大小增加到1GB,请将其设置为

mapred.child.java.opts=  -Xmx1024m