产生背景及定义
- 随着数据量越来越大，一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是管理和维护极不方便，于是迫切需要一种系统来管理多台机器上的文件，这就是分布式管理系统，HDFS是其中一种。
- HDFS的使用适合一次写入，多次读出的场景，且不支持对文件的直接修改，仅支持在文件末尾追加
- HDFS采用流式的数据访问方式：特点就是像流水一样，数据不是一次过来，而是一点一点“流”过来，处理数据也是一点一点处理。如果是数据全部过来之后才处理，那么延迟就会很大，而且会消耗很大的内存。
优缺点
- 高容错性
- 数据自动保存多个副本，通过增加副本的方式，提高容错性
- 若某一个副本丢失后，它可以自动分配到其它节点作为新的副本
- 处理大数据
- 数据规模：能够处理的数据规模可以达到GB，TB，甚至PB级别的数据
- 文件规模：能够处理百万规模以上的文件数量，数量相当之大
- 可构建在廉价的机器上，通过多副本机制，提高可靠性
组成架构
namenode（nn）：就是Master，是一个管理者，存放元数据- 管理HDFS的名称空间
- 配置副本策略
- 管理数据块的映射信息
- 处理客户端的读写请求
datanode（dn）：就是slave，真正存储文件的地方- 存储实际的数据块
- 执行数据块的读写操作
secondarynamenode（2nn）：并非namenode的热备，当namenode挂掉的时候，并不能马上替换namenode并提供服务- 作为namenode的辅助，分担其工作量，比如定期合并Fsimage和Edits（文章后边会讲到这两个东西），并推送给namenode
- 在紧急情况下，可辅助恢复namenode，但是只能恢复部分，而不能全部恢复
client：客户端- 文件的切分，在上传HDFS之前，client将文件切分为一个一个的Block，然后一个一个进行上传
- 与namenode交互，获取文件的datanode信息
- 与datanode交互，读取或写入数据
- client提供一些命令来管理HDFS，比如namenode的格式化
- client通过一些命令来访问HDFS，比如对HDFS的增删查改等
文件块大小
- 如果在HDFS中，寻址时间为10ms，即查找到目标Block的时间为10ms
- 专家说操作的最佳状态为：寻址时间为传输时间的1%，因此传输时间为1s
- 而目前磁盘的传输速率普遍为100M/s
HDFS的数据流
HDFS写数据流程
- 客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。
- NameNode返回是否可以上传。
- 客户端请求第一个 Block上传到哪几个DataNode服务器上。
- NameNode返回3个DataNode节点，分别为dn1、dn2、dn3， 如果有多个节点，返回实际的副本数量，并根据距离及负载情况计算
- 客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。
- dn1、dn2、dn3逐级应答客户端。
- 客户端开始往dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以Packet为单位，dn1收到一个Packet就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答。
- 当一个Block传输完成之后，客户端再次请求NameNode上传第二个Block的服务器。（重复执行3-7步）。
网络拓扑---节点距离计算
如上图所示：
- 同一节点上的进程节点距离为0
- 同一机架上不同节点的距离为两个节点到共同机架r1的距离总和，为2
- 同一数据中心不同机架的节点距离为两个节点到共同祖先集群d1的距离之和，为4
- 不同数据中心的节点距离为两个节点到达共同祖先数据中心的距离之和，为6
机架感知（副本存储的节点选择）
如上图所示，为了提高容错性，有如下设置，加入现在有3个副本：
- 第一个副本在Client所在的节点上，如果客户端在集群外，则随机选一个
- 第二个副本和第一个副本位于相同机架，随机节点
- 第三个副本位于不同机架，随机节点
这样做的目的就是为了提高容错性。
HDFS读数据流程
- 客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。
- 挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。
- DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）。
- 客户端以Packet为单位接收，先在本地缓存，然后写入目标文件。