我一直在使用JobConf.setOutputCommitter()方法为 map 缩减作业设置自己的OutputCommitter。使用hadoop v 0.20以来,因为不推荐使用此类,设置自定义OutputCommitter的替代方法是什么?我尝试在mapred.output.committer.class中设置属性Configuration,但这似乎是无效的属性。尚未找到替代方法来执行此操作。

最佳答案

我猜这取决于新API的含义-在1.1.1中至少是no longer deprecated-我想我记得读过整个mapred包已过时,并且在以后的版本中不推荐使用。

如果通过新的API,您的意思是mapreduce包比mapred包,那么OutputFormats本身具有关联的OutputCommitter,可以通过 OutputFormat.getOutputCommitter 方法获取

09-11 02:14