提高配置单元托管表中插入覆盖的性能

时间:2020-04-06 19:03:47

标签: performance hive insert hiveql overwrite

我是Hive的新手,我想知道表属性的列表,以提高hive托管表中插入覆盖的性能。 有人可以帮忙吗?

1 个答案:

答案 0 :(得分:2)

一些建议:

  1. 关闭统计信息自动收集:

    set hive.stats.autogather=false;

  2. 如果可能,请提前删除分区文件夹或表文件夹,或使用PURGE选项:https://stackoverflow.com/a/39623927/2700344

  3. 如果您使用的是S3并且表是ORC,请禁用块填充:

    ALTER TABLE your_table SET TBLPROPERTIES ("orc.block.padding"="false", "orc.block.padding.tolerance"="1.0");

  4. 使用向量化ConfigurationProperties-Vectorization和Tez:

    set hive.execution.engine=tez;

  5. 优化查询。

相关问题