我是Hive和Hadoop的新手。我有一个查询，需要10分钟才能完成查询。
数据大小为10GB 统计信息：行总数：4454571数据大小：1854337449基本统计信息：完整列统计信息：完整
在表中完成分区和存储桶操作。
如何改善以下查询。
select * fromtbl1 where clmn='Abdul' and loc='IND' and TO_UNIX_TIMESTAMP(ts) > (UNIX_TIMESTAMP() - 5*60*60);
set hive.vectorized.execution.reduce.enabled=true;
set hive.tez.container.size=8192;
set hive.fetch.task.conversion = none;
set mapred.compress.map.output=true;
set mapred.output.compress=true;
set hive.fetch.task.conversion=none;
-----------+--+
| Explain |
+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+--+
| Plan not optimized by CBO. |
| |
| Stage-0 |
| Fetch Operator |
| limit:-1 |
| Stage-1 |
| Map 1 |
| File Output Operator [FS_2973] |
| compressed:false |
| Statistics:Num rows: 49528 Data size: 24516360 Basic stats: COMPLETE Column stats: COMPLETE |
| table:{"input format:":"org.apache.hadoop.mapred.TextInputFormat","output format:":"org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat","serde:":"org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe"} |
| Select Operator [SEL_2972] |
| outputColumnNames:["_col0","_col1","_col2","_col3","_col4","_col5","_col6","_col7"] |
| Statistics:Num rows: 49528 Data size: 24516360 Basic stats: COMPLETE Column stats: COMPLETE |
| Filter Operator [FIL_2971] |
| predicate:((section = 'xysaa') and (to_unix_timestamp(ts) > (unix_timestamp() - 18000))) (type: boolean) |
| Statistics:Num rows: 49528 Data size: 24516360 Basic stats: COMPLETE Column stats: COMPLETE |
| TableScan [TS_2970] |
| ACID table:true |
| alias:pp |
| Statistics:Num rows: 4457541 Data size: 1854337449 Basic stats: COMPLETE Column stats: COMPLETE |
| |
+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+--+
没有任何参数可以帮助我们在较短的时间内解决查询。
答案 0 :(得分：0)
根据计划，查询在mapper上运行，未启用向量化。试试这个：
set hive.vectorized.execution.enabled = true;
set hive.vectorized.execution.reduce.enabled=true;
Tune映射器并行性：
set tez.grouping.max-size=67108864;
set tez.grouping.min-size=32000000;
使用这些设置来增加正在运行的映射器的数量。理想情况下，它应在没有此设置的情况下运行：
set hive.tez.container.size=8192;
另一个建议是将unix_timestamp()替换为UNIX_TIMESTAMP(current_timestamp)。此函数不是确定性的，其值在查询执行范围内也不是固定的，因此会妨碍对查询的适当优化-自2.0开始，建议使用CURRENT_TIMESTAMP常数。
(UNIX_TIMESTAMP(current_timestamp) - 5*60*60)
您的文件也很小。分区的大小为200-500，每个分区12个文件，文件大小为20-50Mb。幸运的是它是ORC，您可以使用ALTER TABLE CONCATENATE COMMAND连接文件。 12个文件没什么大不了，查询单个分区时您可能不会注意到有改善。