Apache Ignite:IgniteHadoopIgfsSecondaryFileSystem有哪些依赖项?

时间:2015-12-11 10:30:40

标签: apache hadoop ignite

我正在尝试使用Hadoop作为辅助存储设置IGFS。我已将设置设置为here,但我一直在NoClassDefFoundError。我已经下载了Ignite的两个二进制发行版,并尝试从源代码构建,但不包括依赖项。 hadoop-common-2.6.0.jarignite-hadoop-1.4.0.jar提供了一些依赖项,但现在我得到的NoClassDefFoundError org/apache/hadoop/mapred/JobConf根据我的理解,这是一个已弃用的类...

我一直在关注Apache Ignite网站上的说明,但这是我已经获得的。

IgniteHadoopIgfsSecondaryFileSystem作为辅助存储需要哪些依赖项?

2 个答案:

答案 0 :(得分:1)

看起来问题是Ignite节点在类路径上没有Hadoop库。要解决此问题,请尝试执行以下操作:

1)使用" Hadoop加速器" Ignite发行版(如果您自己构建发行版,请使用-Dignite.edition = hadoop)。

2)如果您正在使用Apache Hadoop发行版,请为Ignite进程设置HADOOP_HOME环境变量,或者,如果您使用其他发行版(HDP,Cloudera,BigTop等),请确保/ etc / default / hadoop文件存在且具有适当的内容。

或者,您可以手动将必要的Hadoop依赖项添加到Ignite节点类路径:这些是groupId" org.apache.hadoop"的依赖项。列在文件modules / hadoop / pom.xml中。目前他们是:

  1. Hadoop的注解
  2. 的hadoop-AUTH
  3. Hadoop的共同
  4. Hadoop的HDFS
  5. Hadoop的MapReduce的客户端 - 公共
  6. Hadoop的MapReduce的客户端 - 芯

答案 1 :(得分:-1)

如果您不想自己处理依赖关系管理 - 这是一个非常难以手动完成的事情 - 我建议您查看为软件堆栈提供编排和部署服务的项目。检查Apache Bigtop(bigtop.apache.org),它为Apache Ignite,Hadoop,HDFS以及此领域的其他任何东西提供预切割的Linux软件包。您可以通过我们的CI http://ci.bigtop.apache.org/view/Packages/job/Bigtop-trunk-packages

获取最新的夜间套餐