本文介绍了Hadoop中没有Reducer的组合器的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我可以写一个只有Mappers和Combiners(即没有Reducer的mini-redurs)的Hadoop代码吗?

我试图这样做,但我总是看到我在作业跟踪链接上有一个减少任务

如何删除还原剂,同时保持合成器?这是可能的吗?

解决方案

在你描述的情况下你应该使用Reducers。用作键:Context.getInputSplit()。getPath()+ Context.getInputSplit()。getStart() - 这个组合对于每个Mapper都是唯一的。


Can I write a Hadoop code that has only Mappers and Combiners (i.e. mini-reducers with no reducer)?

I was trying to do so but I always see that I have one reduce task on the job tracker link

How can I delete reducers while keeping combiners? is that possible?

解决方案

In the case you describe you should use Reducers. Use as key: Context.getInputSplit().getPath() + Context.getInputSplit().getStart() - this combination is unique for each Mapper.

这篇关于Hadoop中没有Reducer的组合器的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持!

08-24 03:55