我有一个用例,其中映射阶段生成的某些键需要在reduce插入之前被过滤掉。这样的事情可行吗?请告诉我。
最佳答案
修改Mapper类以过滤输入将更加准确,
因为不能保证组合器的执行,所以Hadoop可能执行也可能不执行组合器。另外,如果需要,它可以执行1次以上。因此,您的MapReduce作业不应依赖于组合器的执行。
关于map - hadoop过滤图输出,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/12443686/