Question

在SO上有一些与此类似的问题。但是，没有任何事情对我有用。所以我要发布这个问题。

我正在使用CDH 6.2.1

我有一个具有map-reduce动作的工作流程。 map-reduce作业会创建许多计数器（我认为m / r作业会产生约300个计数器）。

我已将cdh / yarn / config mapreduce.job.counters.max属性设置为8192。

我还设置了：

YARN Service Advanced Configuration Snippet (Safety Valve) for yarn-site.xml
YARN Service MapReduce Advanced Configuration Snippet (Safety Valve)
MapReduce Client Advanced Configuration Snippet (Safety Valve) for mapred-site.xml

如果我将map-reduce作业作为独立的yarn作业运行（在命令行上使用yarn jar命令），则该作业成功完成。

当我将工作作为工作流的一部分运行时：

在Yarn / All Applications页面上，我看到：oozie启动器作业成功完成。
在Yarn / All Applications页面上，我看到：map / reduce作业成功完成。
但是oozie的工作报告失败：LimitExceededException: Too many counters: 121 max=120

yarn报告的mapreduce作业和oozie启动器的配置具有以下设置：

<property>
     <name>mapreduce.job.counters.max</name>
     <value>8192</value>
     <final>true</final>
     <source>yarn-site.xml</source>
</property>

Oozie Web界面System-Info / OS-Env报告了以下HADOOP_CONF_DIR：/ var / run / cloudera-scm-agent / process / 459-oozie-OOZIE_SERVER / yarn-conf /

在该文件夹中，我可以看到mapred-site.xml也具有：

    <!--'mapreduce.job.counters.max', originally set to '8192' (final), is overridden below by a safety valve-->
  <property>
    <name>mapreduce.job.counters.max</name>
    <value>8192</value>
    <final>true</final>
  </property>

但是我在yarn-site.xml中找不到该属性。

我不确定目前还可以做什么...

Answer 1

这是一个已解决的问题issue。但是，它在当前版本的cloudera中不可用。

如果有人遇到同样的问题，我会在这里发布。

当纱线报告oozie启动器和mapreduce作业已成功完成时，为什么Oozie会因错误代码LimitExceededException而使作业失败？

1 个答案: