Question

我正在尝试这个：

name := "SPARK-SQL"

version := "1.0"

scalaVersion := "2.11.8"


libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.0.0-preview"


libraryDependencies += "org.apache.spark" % "spark-sql_2.11" % "2.0.0-preview"

libraryDependencies += "org.apache.spark" % "spark-hive-thriftserver_2.10" % "1.6.2"

这是我的build.sbt文件：

ParamStr()

我得到的错误：

错误：scalac：加载时检测到缺少或无效的依赖项 class file＆＃39; HiveContext.class＆＃39;。

Answer 1

要使用org.apache.spark.sql.hive.HiveContext，您需要在build.sbt或pom.xml中使用以下配置组合，并切换到scala 2.10.6，因为spark-hive_2.10的兼容性问题：

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.10</artifactId>
    <version>2.0.0</version>
</dependency>

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-hive_2.10</artifactId>
    <version>2.0.0</version>
</dependency>

Answer 2

您可以在spark 2.0中使用带有hive支持的spark会话，如下所示，您只需要spark sql依赖示例

val spark = SparkSession
  .builder()
  .appName("Spark Hive Example")
  .enableHiveSupport()

Answer 3

看起来你正在尝试将spark-hive库1.6与spark库2.0一起使用，我不确定这是否正常。

对于Spark 1.6.x，你可以这样做：

libraryDependencies += "org.apache.spark" %% "spark-hive" % "1.6.3" % "provided"

缺少HiveContext依赖项

3 个答案: