hadoop - pig 作业因 “org.apache.hadoop.mapreduce.counters.LimitExceededException: Too many counters: 121 max=120”而失败

我们正在处理5000万个数据，最后处理完之后，我们在Pig脚本中使用了rank函数，执行rank函数时pig作业失败，并且我们得到的错误低于以下值:
“org.apache.hadoop.mapreduce.counters.LimitExceededException:计数器过多:121个max = 120”

我们已经在Pig脚本中使用了以下命令，但是仍然出现相同的错误:

设置mapreduce.job.counters.max 1000

如果有人可以帮助我度过这个错误，或者可以为我提供另一种在超过5000万个处理过的数据上使用等级函数的方法，我将非常感谢。

最佳答案

检查mapred-site.xml计数器的限制值。该文件中的限制很可能设置为120。该文件位于hadoop主目录中，例如:$ HADOOP_HOME / conf / mapred-site.xml

<property>
    <name>mapreduce.job.counters.limit</name>
    <value>1000</value> -- Most likely this is set to 120 in your case.
</property>

在Hadoop 2.0中，其mapreduce.job.counters.max

<property>
    <name>mapreduce.job.counters.max</name>
    <value>1000</value> -- Most likely this is set to 120 in your case.
</property>

关于hadoop - pig 作业因 “org.apache.hadoop.mapreduce.counters.LimitExceededException: Too many counters: 121 max=120”而失败，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/54294457/