有没有一种方法可以限制hadoop中每个用户的并发减少插槽数量?我们要确保没有一个用户在任何时候都用完所有可用的reduce插槽。

最佳答案

使用FairScheduler in the current version of Hadoop这是可能的。您可以为每个用户分配一个池,然后设置maxReduces。但是,此选项在FairScheduler with 0.20.203中不可用。此版本方便地具有minReduces而没有maxReduces

关于hadoop - 限制每个用户的并发化简数量,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/8159512/

10-10 22:30