最重要的两个模块

最重要的两个模块

Hadoop 中 最重要的两个模块

HDFS   分布式的文件系统

主节点:

NameNode

SecondaryNamenode

ResourceManager





从节点:

DataNode

NodeManager





MapReduce  分布式的并行计算框架

job.submit();

job.waitForCompletion();





就会启动运行一个job





MR的job在分布式的集群中如何运行





主节点

ResourceManager(2.0)

JobTracker: (1.0)

用来管理任务job执行





时资源的分配

用来监控从节点运行





job任务的情况

用来分配job的任务具





体给那个从节点

从节点

applicationMaster





(MrAppMaster hadoop2.0)

用来管理任务job执行





时资源的分配

用来监控从节点运行





job任务的情况

用来分配job的任务具





体给那个从节点

TaskTracker(Map Reduce)





(1.0)

任务的执行者

YarnChild(2.0)





YarnChild(2.0)实时向applicationMaster汇报信息,





applicationMaster实时向ResourceManager汇报信息

04-30 06:50