在阅读有关MapReduce的内容时,我阅读了以下有趣的内容:



我在这里有疑问。当他们说时,每个Reducer 到底是什么意思?是否会在映射阶段开始之前分配化简器,以及如何选择化简器节点?

最佳答案

Reducer可以在完成数据处理之前启动。一旦启动,他们就可以从映射器机器中提取数据,但是只有在所有映射器完成数据处理之后,它们才会开始处理。

mapred.reduce.slowstart.completed.maps 是用于配置此行为的属性。有关属性here的更多信息。

关于hadoop - 何时在mapreduce作业执行中分配化简器的数量/节点?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/30937016/

10-12 22:15