使用简单查询时,如何在Hive-Spark中修复“ org.apache.hadoop.hive.ql.metadata.HiveException”?

时间:2019-03-31 12:03:18

标签: apache-spark hadoop hive hive-query

我正在尝试在Hive-Spark引擎上执行简单的查询:

SELECT count(*) FROM classification_output GROUP BY model_id;

我一直收到以下错误:

Error: Error while compiling statement: FAILED: SemanticException Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException: Failed to create spark client. (state=42000,code=40000)

只有ONT时间才在12分钟后生效

该表上的记录数约为7K,我怀疑是配置问题,但是我不确定哪个参数。

我试图:

  • 重新启动HIVE服务器
  • 增加了Hive服务器的超时时间

注意:

使用:

SELECT count(*) FROM classification_output;

在没有group by....的情况下正常工作并返回以下内容:

+-------+
|  _c0  |
+-------+
| 7164  |
+-------+
1 row selected (0.092 seconds)

1 个答案:

答案 0 :(得分:0)

花了一些时间解决此问题后,我设法找到了解决方案。它与查询无关。还有一个SparkClient进程正在运行,一旦我停止并执行查询,它就可以正常工作。