Closed. This question needs to be more focused。它当前不接受答案。












想改善这个问题吗?更新问题,使其仅关注editing this post的一个问题。

3年前关闭。



Improve this question




我刚刚开始研究Hadoop。
我想知道hadoop如何管理负载平衡。

如果我在一个群集中有5个节点,那么hadoop如何确保每个节点具有相等的工作负载?
Hadoop是否使用任何算法进行负载平衡?

您能帮我学习Hadoop吗?

最佳答案

我假设您的意思是YARN,即ResourceManager,而不是HDFS,是文件系统。

YARN不保证也不保证平等的处理。

就MapReduce而言,如果您的数据严重偏向特定的密钥对,则一个节点的一个进程将成为工作的瓶颈。

如果您不是说HDFS,那么实际上是所谓的HDFS Rebalancer,但这是为了确保您的数据在群集中相当分散,以便可以根据“数据局部性”更好地分配作业。但是,这仍然不会帮助数据的偏度。

关于hadoop - Hadoop如何管理负载平衡,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/46140557/

10-16 20:08
查看更多