我一直在使用JobConf.setOutputCommitter()
方法为 map 缩减作业设置自己的OutputCommitter
。使用hadoop v 0.20以来,因为不推荐使用此类,设置自定义OutputCommitter
的替代方法是什么?我尝试在mapred.output.committer.class
中设置属性Configuration
,但这似乎是无效的属性。尚未找到替代方法来执行此操作。
最佳答案
我猜这取决于新API的含义-在1.1.1中至少是no longer deprecated-我想我记得读过整个mapred包已过时,并且在以后的版本中不推荐使用。
如果通过新的API,您的意思是mapreduce包比mapred包,那么OutputFormats本身具有关联的OutputCommitter,可以通过 OutputFormat.getOutputCommitter
方法获取