HDFS2的架构:负责数据的分布式存储

主从结构

  主节点,可以有2个: namenode

  从节点,有很多个: datanode

namenode负责:

  接收用户操作请求,是用户操作的入口

  维护文件系统的目录结构,称作命名空间

datanode负责:存储文件

Yarn的架构:资源的调度和管理平台    

主从结构

主节点,可以有2个: ResourceManager

从节点,有很多个: NodeManager

ResourceManager负责:

集群资源的分配与调度

MapReduce、Storm、Spark等应用,必须实现ApplicationMaster接口,才能被RM管理

NodeManager负责:

单节点资源的管理

MapRedece的架构:依赖磁盘io的批处理计算模型

主从结构

主节点,只有一个: MRAppMaster

MRAppMaster负责:

接收客户提交的计算任务

把计算任务分给TaskTrackers执行,即任务调度

监控TaskTracker的执行情况

05-11 14:50