我是Hadoop的新手。在hadoop中,我知道当NameNode发生故障时,整个Hadoop框架都会崩溃。因此,这是Hadoop中的单点故障。 JobTracker是否一样?因为如果JobTracker出现故障,提交作业后将没有守护进程与Namenode联系,也没有运行TaskTrackers的意义。如何正确处理?
最佳答案
是的,JobTracker是MRv1中的单点故障。万一JobTracker失败,所有正在运行的作业都将暂停(http://wiki.apache.org/hadoop/JobTracker)。
在YARN中,资源管理器不是单点故障。
如果需要MRv1,则可以使用MapR分发,该分发可为JobTracker提供高可用性(http://www.mapr.com/resources/videos/demo-hadoop-jobtracker-failing-and-recovering-mapr-cluster)。