AWS EMR - 作业计数器超出限制120

Question

我有一个我继承的hadoop代码库，我试图在EMR上运行。但我遇到了工作柜台的问题。我得到一个错误，说我超过默认限制120.我查看了我的代码，我看到我有大约40个计数器，EMR又添加了30个内部计数器，但这仍应在120默认限制内

我正在运行EMR AMI版本2.4.2和Amazon 1.0.3 hadoop发布。

• 有没有办法增加限额？我看到了More than 120 counters in hadoop。但我不确定如何在EMR上进行设置。
• 我有什么方法可以获得更多调试来弄清楚发生了什么？

Answer 1

您可以使用此configuration提高计数器限制：

[
  {
    "Classification": "mapred-site",
    "Properties": {
      "mapreduce.job.counters.max:": "1024"
    }
  }
]

以下是关于如何向群集注册这些说明的Amazon's instructions。 （我不会直接在这里粘贴它，因为有很多方法可以做到这一点，具体取决于您创建和使用群集的方式。）