为什么HBase支持的Hive表使用MapReduce

时间:2017-09-23 01:11:57

标签: hadoop hive mapreduce hbase

我在项目中使用Hbase支持的Hive表,但我们选择Hbase支持的Hive的原因是执行更新。

除了Hbase支持的Hive表的其他优点之外。因为从Hive查询时仍然使用MapReduce。 即使我们想要一小组数据,并且表格是巨大的,也需要时间来给出结果。

但是如果我们执行Scan with Range或者只是在Hbase上获得Hbase shell结果只需几秒钟。那么除了更新之外还使用Hbase支持的Hive表的其他优点是什么(现在也可以在HIVE中使用)& SQL轻松。

如果Hbase支持,HIVE如何评估并运行查询? 为什么它使用MapReduce扫描&给结果而不是Hbase引擎更快? Hbase是否有自己的引擎来执行扫描,获取操作以从其HFile中获取数据

1 个答案:

答案 0 :(得分:1)

我会建议你不要使用Hbase支持的Hive。 正如您所看到的,带有过滤器的扫描在运行配置单元查询的时间的摩擦中运行。 这是因为Hbase过滤了存储级别中的数据,并且hive加载了所有表数据,然后对其进行过滤。 假设从蜂巢到Hbase的谓词下推,但是在事情上有许多公开的问题。并且很多谓词下推都是禁用的。 有关详情,请查看页面:Hive HBase Integration