hadoop - 在hadoop中，jobtracker tasktracker和有什么区别和关系？

就像标题中所说的，在hadoop中，jobtracker tasktracker和有什么区别和关系？有人可以向我解释，谢谢您的帮助!

最佳答案

工作追踪器–

JobTracker进程在单独的节点上运行，通常不在DataNode上运行。

JobTracker是MRv1中MapReduce执行的基本守护程序。在MRv2中将其替换为ResourceManager / ApplicationMaster。

JobTracker从客户端接收到执行MapReduce的请求。

JobTracker与NameNode对话以确定数据的位置。

JobTracker根据数据位置(数据的接近程度)和在给定节点上执行任务的可用插槽，找到最佳TaskTracker节点来执行任务。

JobTracker监视各个TaskTracker，然后将作业的总体状态提交回客户端。

就MapReduce执行而言，

JobTracker流程对于Hadoop集群至关重要。

当JobTracker关闭时，HDFS仍然可以运行，但是无法启动MapReduce执行，并且现有的MapReduce作业将被暂停。

任务跟踪器

TaskTracker在DataNode上运行。通常在所有DataNode上。

TaskTracker在MRv2中被Node Manager取代。

TaskTracker将与JobTracker保持持续通信，以发出执行任务的进度。

Mapper和Reducer任务在TaskTrackers管理的DataNode上执行。

TaskTrackers将被分配Mapper和Reducer任务，以由JobTracker执行。

TaskTracker故障不被认为是致命的。当TaskTracker变得无响应时，JobTracker会将TaskTracker执行的任务分配给另一个节点。