以相反的顺序将Map Output键映射到化简器的最佳方法是什么?默认情况下,Reducer以键的升序接收所有键。任何帮助或意见广受赞赏。
简而言之,在正常情况下,如果映射发出密钥1,4,3,5,2,则缩减器将获得与1,2,3,4,5相同的密钥。我希望 reducer 改为接收5,4,3,2,1。
最佳答案
在Hadoop 1.X中,您可以使用 JobConf.setOutputKeyComparatorClass
为输出指定一个自定义比较器类。
您的比较器必须实现 RawComparator
interface。
在Hadoop 2.X中,这是通过使用 Job.setSortComparatorClass
完成的,仍然使用RawComparator
的实现。