我有5个节点hadoop集群。我已经为每个节点配置了10个映射器。 MR作业运行时,hdfs节点之一死亡。这最终导致该任务跟踪器被列入黑名单。在将其列入黑名单之后并且在MR作业完成之前,如果我修复了受影响的hdfs节点,是否可以从黑名单中恢复任务跟踪器?
我在ubuntu上使用cloudera cdh 4.2。
最佳答案
我正在阅读有关任务跟踪器故障的“Hadoop权威指南”。我发现这句话
“未将列入黑名单的任务跟踪器分配给任务,但它们继续与作业跟踪器进行通信。故障会随着时间的流逝(每天发生一次)而终止,因此任务跟踪器只需继续运行就可以再次运行作业。或者,如果存在是可以修复的潜在故障(例如,通过更换硬件),任务跟踪程序将在重新启动并重新加入群集后从工作跟踪器的黑名单中删除。”