hadoop - 当(减少的数量)一项作业超过群集的容量时，预期会导致什么性能损失？

我在hadoop的配置文件中为每个节点配置(映射器/还原器的数量)。

我提交了任何要指定使用的MR任务(映射器/还原器的数量)。

当(减少的数量)一项作业超过群集的容量时，预期会导致什么性能损失？

最佳答案

可能未指定映射器的数量!

设置为运行的映射器数量完全取决于

文件大小

块大小

没有直接的方法来评估您的案例所造成的性能损失。它取决于减少的类型，并且在很大程度上取决于数据。

例如:假设您的数据使得其中一个还原运行时间过长，然后另一个还原程序将完成并启动第二个还原作业。因此，也许在一次大的减少发生之前完成所有减少。

关于hadoop - 当(减少的数量)一项作业超过群集的容量时，预期会导致什么性能损失？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/41826415/