在面试时,我被问到一个问题:关于状态,您能知道些什么:制图员:80%, reducer :20%?

我的理解是不可能进入那种状态。因为在化简版开始工作之前,所有映射器都应该完成运行:收集所有键值对并按键对它们进行分组。

我对么?

最佳答案

约20%的缩减器意味着后台线程已开始将数据从映射器输出位置复制到缩减器输入位置。因此,在映射器输出达到100%之前,reducer进度显示为20%。

关于hadoop - Hadoop Map-Reduce:关于状态的信息:映射器:80%,缩减器:20%,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/41619415/

10-12 23:03