Question

我正在使用RJDBC 0.2-5连接到Rstudio中的Hive。我的服务器有hadoop-2.4.1和hive-0.14。我按照下面提到的步骤连接到Hive。

library(DBI)
library(rJava)
library(RJDBC)
.jinit(parameters="-DrJava.debug=true")
drv <- JDBC("org.apache.hadoop.hive.jdbc.HiveDriver", 
            c("/home/packages/hive/New folder3/commons-logging-1.1.3.jar",
              "/home/packages/hive/New folder3/hive-jdbc-0.14.0.jar",
              "/home/packages/hive/New folder3/hive-metastore-0.14.0.jar",
              "/home/packages/hive/New folder3/hive-service-0.14.0.jar",
              "/home/packages/hive/New folder3/libfb303-0.9.0.jar",
              "/home/packages/hive/New folder3/libthrift-0.9.0.jar",
              "/home/packages/hive/New folder3/log4j-1.2.16.jar",
              "/home/packages/hive/New folder3/slf4j-api-1.7.5.jar",
              "/home/packages/hive/New folder3/slf4j-log4j12-1.7.5.jar",
              "/home/packages/hive/New folder3/hive-common-0.14.0.jar",
            "/home/packages/hive/New folder3/hadoop-core-0.20.2.jar",
            "/home/packages/hive/New folder3/hive-serde-0.14.0.jar",
             "/home/packages/hive/New folder3/hadoop-common-2.4.1.jar"),
            identifier.quote="`")

conHive <- dbConnect(drv, "jdbc:hive://myserver:10000/default",
                  "usr",
                  "pwd")

但我总是收到以下错误：

.jcall中的错误（drv @ jdrv，“Ljava / sql / Connection;”，“connect”， as.character（url）[1] ,: java.lang.NoClassDefFoundError：不能初始化类org.apache.hadoop.hive.conf.HiveConf $ ConfVars

即使我尝试使用不同版本的Hive jar，Hive-jdbc-standalone.jar但似乎没有任何工作..我也使用RHive连接到Hive，但也没有成功。

任何人都可以帮助我吗？我有点卡住:(

Answer 1

我没有尝试过rHive，因为它似乎需要在群集的所有节点上进行复杂的安装。

我使用RJDBC成功连接到Hive，这是一个适用于我的Hadoop 2.6 CDH5.4群集的代码snipet：

#loading libraries
library("DBI")
library("rJava")
library("RJDBC")

#init of the classpath (works with hadoop 2.6 on CDH 5.4 installation)
cp = c("/usr/lib/hive/lib/hive-jdbc.jar", "/usr/lib/hadoop/client/hadoop-common.jar", "/usr/lib/hive/lib/libthrift-0.9.2.jar", "/usr/lib/hive/lib/hive-service.jar", "/usr/lib/hive/lib/httpclient-4.2.5.jar", "/usr/lib/hive/lib/httpcore-4.2.5.jar", "/usr/lib/hive/lib/hive-jdbc-standalone.jar")
.jinit(classpath=cp)

#initialisation de la connexion
drv <- JDBC("org.apache.hive.jdbc.HiveDriver", "/usr/lib/hive/lib/hive-jdbc.jar", identifier.quote="`")
conn <- dbConnect(drv, "jdbc:hive2://localhost:10000/mydb", "myuser", "")

#working with the connexion
show_databases <- dbGetQuery(conn, "show databases")
show_databases

更难找到所有需要的罐子以及在哪里找到它们......

<强>更新 hive独立JAR包含使用Hive所需的所有内容，使用这个独立的JAR和hadoop-common jar就足以使用Hive。

所以这是一个简化版本，不需要担心其他罐子里的hadoop-common和hive-standalone罐子。

 #loading libraries
 library("DBI")
 library("rJava")
 library("RJDBC")

 #init of the classpath (works with hadoop 2.6 on CDH 5.4 installation)
 cp = c("/usr/lib/hadoop/client/hadoop-common.jar", "/usr/lib/hive/lib/hive-jdbc-standalone.jar")
 .jinit(classpath=cp)

 #initialisation de la connexion
 drv <- JDBC("org.apache.hive.jdbc.HiveDriver", "/usr/lib/hive/lib/hive-jdbc-standalone.jar", identifier.quote="`")
 conn <- dbConnect(drv, "jdbc:hive2://localhost:10000/mydb", "myuser", "")

 #working with the connexion
 show_databases <- dbGetQuery(conn, "show databases")
 show_databases

Answer 2

Ioicmathieu的答案现在对我有用，例如，我从3.1.1切换到2.0.0到较旧的蜂巢罐之后。

不幸的是，我无法评论他的答案，这就是为什么我写了另一个答案。

如果遇到以下错误，请尝试旧版本：

.jcall（drv @ jdrv，“ Ljava / sql / Connection;”，“ connect”， as.character（url）[1] ，： java.sql.SQLException：无法打开使用JDBC Uri进行客户端传输： jdbc：hive2：// host_name：无法建立与jdbc：hive2：// host_name：10000的连接：必需未设置“ client_protocol”字段！结构：TOpenSessionReq（client_protocol：null，配置：{set：hiveconf：hive.server2.thrift.resultset.default.fetch.size = 1000， use：database = default}）

使用RJDBC / RHive从R连接到远程Hive服务器

2 个答案: