hadoop - Jobconf在Hadoop中被淘汰的原因

我有一个每天运行的MapReduce作业。但是它失败了，但以下异常:-

java.io.IOException:超出最大jobconf大小:5437618限制:5242880。

我能知道这个的根本原因吗？作业的输入路径保持不变。

最佳答案

看起来其中一个参数值真的很大。尝试通过在JobConf上使用iterator()方法进行调试以遍历键/值对的集合，以查看其中的一个值是否过大。