Closed. This question needs to be more focused。它当前不接受答案。
想改善这个问题吗?更新问题,使其仅关注editing this post的一个问题。
3年前关闭。
Improve this question
我刚刚开始研究Hadoop。
我想知道hadoop如何管理负载平衡。
如果我在一个群集中有5个节点,那么hadoop如何确保每个节点具有相等的工作负载?
Hadoop是否使用任何算法进行负载平衡?
您能帮我学习Hadoop吗?
想改善这个问题吗?更新问题,使其仅关注editing this post的一个问题。
3年前关闭。
Improve this question
我刚刚开始研究Hadoop。
我想知道hadoop如何管理负载平衡。
如果我在一个群集中有5个节点,那么hadoop如何确保每个节点具有相等的工作负载?
Hadoop是否使用任何算法进行负载平衡?
您能帮我学习Hadoop吗?
最佳答案
我假设您的意思是YARN,即ResourceManager,而不是HDFS,是文件系统。
YARN不保证也不保证平等的处理。
就MapReduce而言,如果您的数据严重偏向特定的密钥对,则一个节点的一个进程将成为工作的瓶颈。
如果您不是说HDFS,那么实际上是所谓的HDFS Rebalancer,但这是为了确保您的数据在群集中相当分散,以便可以根据“数据局部性”更好地分配作业。但是,这仍然不会帮助数据的偏度。
关于hadoop - Hadoop如何管理负载平衡,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/46140557/