我是Hadoop的新手。在hadoop中,我知道当NameNode发生故障时,整个Hadoop框架都会崩溃。因此,这是Hadoop中的单点故障。 JobTracker是否一样?因为如果JobTracker出现故障,提交作业后将没有守护进程与Namenode联系,也没有运行TaskTrackers的意义。如何正确处理?

最佳答案

是的,JobTracker是MRv1中的单点故障。万一JobTracker失败,所有正在运行的作业都将暂停(http://wiki.apache.org/hadoop/JobTracker)。

在YARN中,资源管理器不是单点故障。

如果需要MRv1,则可以使用MapR分发,该分发可为JobTracker提供高可用性(http://www.mapr.com/resources/videos/demo-hadoop-jobtracker-failing-and-recovering-mapr-cluster)。

10-01 02:27