无法找到spark-hbase mvn依赖项

Question

我想使用Spark读取HBase中的表。我添加了以下依赖项：

libraryDependencies += "org.apache.hbase" %% "hbase-spark" % "2.0.0-SNAPSHOT"

如hbase website中所述，但依赖关系无法解决!!

我也尝试过不同的版本（1.2.0,1.1.2）但它没有用。

Answer 1

看起来hbase-spark不在maven central中，这是从中检索依赖项的默认存储库。

您需要配置构建管理工具（不清楚是否使用Maven或SBT）才能使用正确的存储库。

从你可以使用的project page

• https://repository.apache.org/content/repositories/snapshots 快照
• https://repository.apache.org/content/repositories/releases发布

然而，目前看起来只有快照可用。

此外，如下面作者的评论所述，行

libraryDependencies += "org.apache.hbase" %% "hbase-spark" % "2.0.0-SNAPSHOT"

实际应该是

libraryDependencies += "org.apache.hbase" % "hbase-spark" % "2.0.0-SNAPSHOT"

在这种情况下不需要double％，因为您不希望将scala版本附加到工件名称。

Answer 2

1. 添加此存储库

               Cloudera的             https://repository.cloudera.com/artifactory/cloudera-repos/  

2. 然后你可以通过maven下载它：

               org.apache.hbase             HBase的火花             1.2.0-cdh5.7.0

Answer 3

我在pom.xml中使用 hbase-spark 依赖项时遇到了同样的问题

<!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-spark -->
<dependency>
   <groupId>org.apache.hbase</groupId>
   <artifactId>hbase-spark</artifactId>
   <version>2.0.0-alpha4</version>
</dependency>

我通过以下步骤解决了上述问题：

• 通过点击下图的蓝色标记区域，从maven repository 下载 hbase-spark 依赖项jar。

• 根据所附图片在 / src / main / resources 中创建一个 lib 文件夹。

• 将下载的jar文件复制到 lib 文件夹中，然后在pom.xml中添加jar文件的系统路径

。

    <!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-spark -->
<dependency>
   <groupId>org.apache.hbase</groupId>
   <artifactId>hbase-spark</artifactId>
   <version>2.0.0-alpha4</version>
   <scope>system</scope>
   <systemPath>${project.basedir}/src/main/resources/lib/hbase-spark-2.0.0-alpha4.jar</systemPath>
</dependency>

希望它会为您提供帮助。