Question

我是初学者，学习Hadoop和Spring集成。我正在尝试使用 Cloudera（cdh4.5.0）版本和使用Maven的 Spring Batch 2.2.4 版本运行wordcount程序。

程序编译成功，完成map和reduce功能。 wordcount作业仍然显示Job失败状态和以下错误：

ERROR [org.springframework.batch.core.step.AbstractStep] - <Encountered an error executing the step>
java.lang.IncompatibleClassChangeError: Found interface org.apache.hadoop.mapreduce.Counter, but class was expected

我见过依赖树，但在我的存储库中找不到任何冲突的hadoop冲突版本。如果您需要更多信息，请告诉我。

非常欢迎任何帮助或建议：）

由于

Answer 1

我假设你也在使用spring-data-hadoop。

尝试将1.0.2.RELEASE-cdh4版本与Cloudera CDH4一起使用 - 这些发行版特定版本可在Spring存储库中找到：

<repository>
  <id>spring-releases</id>
  <name>Spring Release Repository</name>
  <url>http://repo.spring.io/libs-release</url>
</repository>

此处有更多信息：https://github.com/spring-projects/spring-hadoop/wiki/Build-with-Cloudera-CDH4

wordCount作业弹出批次失败

1 个答案: