Hadoop 中 最重要的两个模块
HDFS 分布式的文件系统
主节点:
NameNode
SecondaryNamenode
ResourceManager
从节点:
DataNode
NodeManager
MapReduce 分布式的并行计算框架
job.submit();
job.waitForCompletion();
就会启动运行一个job
MR的job在分布式的集群中如何运行
主节点
ResourceManager(2.0)
JobTracker: (1.0)
用来管理任务job执行
时资源的分配
用来监控从节点运行
job任务的情况
用来分配job的任务具
体给那个从节点
从节点
applicationMaster
(MrAppMaster hadoop2.0)
用来管理任务job执行
时资源的分配
用来监控从节点运行
job任务的情况
用来分配job的任务具
体给那个从节点
TaskTracker(Map Reduce)
(1.0)
任务的执行者
YarnChild(2.0)
YarnChild(2.0)实时向applicationMaster汇报信息,
applicationMaster实时向ResourceManager汇报信息