第一部分:管理层,用于管理应用层的
第二部分:应用层(工作的)
NameNode(元数据服务器)
Secondary NameNode(辅助元数据服务器)
JobTracker(任务调度员)
DataNodes(块存储) TaskTracker(任务执行)
HDFS,分布式文件系统,
NameNode,属于管理层,用于管理数据的存储
Secondary NameNode,也属于管理层,辅助NameNode进行管理
DataNode:属于应用层,用户进行数据的存储,被NameNode进行管理,定时地向Namenode进行工作汇报,执行NameNode分配分发的任务。
MapReduce:分布式地并行计算扩建
JobTracker:属于管理层,管理集群资源和对任务进行资源调度,监控任务的执行。
TaskTracker:属于应用层,执行jobtracker分配的任务,并向其汇报工作情况。
2.Apache Hadoop守护进程的作用:
Namenode:是主节点,存储文件的元数据如文件名,文件目录结构,文件属性(生成时间,副本数,文件权限等),以及每个文件的块列表和块所在的DataNode等。
DataNode在本地文件系统存储文件块数据,以及块数据的校验和
Secondary NameNode用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快照。
Jobtracker负责接收用户提交的作业,负责启动、跟踪任务执行
taskTracker负责执行由jobtracker分配的任务,管理各个任务在每个节点上的执行情况。