以相反的顺序将Map Output键映射到化简器的最佳方法是什么?默认情况下,Reducer以键的升序接收所有键。任何帮助或意见广受赞赏。
简而言之,在正常情况下,如果映射发出密钥1,4,3,5,2,则缩减器将获得与1,2,3,4,5相同的密钥。我希望 reducer 改为接收5,4,3,2,1。

最佳答案

在Hadoop 1.X中,您可以使用 JobConf.setOutputKeyComparatorClass 为输出指定一个自定义比较器类。

您的比较器必须实现 RawComparator interface

在Hadoop 2.X中,这是通过使用 Job.setSortComparatorClass 完成的,仍然使用RawComparator的实现。

09-28 07:25