在火花上运行Hive

Question

尝试在spark上运行配置单元，使用以下属性。尝试调整一些其他属性以及执行器实例的数量，火花高手但抛出错误＆＃34; FAILED：SemanticException无法获得火花会话：org.apache.hadoop.hive.ql.metadata.HiveException：创建失败火花客户。＆＃34;

当spark.master设置为local时，它运行正常。

这项工作没有得到实例化。有什么输入吗？

set hive.execution.engine=spark;
set spark.executor.memory=2g;
set yarn.scheduler.maximum-allocation-mb=8192;
set yarn.nodemanager.resource.memory-mb=40960;
set spark.executor.cores=4;
set spark.executor.memory=4g;
set spark.yarn.executor.memoryOverhead=750;
set hive.spark.client.server.connect.timeout=900000ms;
set yarn.nodemanager.resource.memory-mb=2048;

Answer 1

Hive on spark不适用于Hive版本<2.1