Hadoop组件

目录

• Hadoop
  • HDFS
    • HDFS组件
      • NameNode
      • DataNode
      • SecondaryNameNode
      • Client
      • HDFS文件的上传与下载
      • NameNode与SecondaryNameNode的机制
    • Yarn组件
    • MapReduce框架
  • MapReduce
    • Mapper与Reducer的继承
    • Writable序列化接口
    • MapTask的工作机制（分而治之思想）
    • MapTask的并行度
    • ReduceTask的工作机制
    • ReduceTask的并行度
      • Shuffle机制

Hadoop

HDFS

HDFS组件

NameNode

DataNode

SecondaryNameNode

Client

HDFS文件的上传与下载

NameNode与SecondaryNameNode的机制

Yarn组件

MapReduce框架⭐

MapReduce

Mapper与Reducer的继承

Writable序列化接口

MapTask的工作机制（分而治之思想）

MapTask的并行度

ReduceTask的工作机制

ReduceTask的并行度

Shuffle机制⭐