第一天的笔记,是伪分布hadoop集群搭建,

  后面是hadoop Ha的分布式集群搭建

  1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

第一天,是HDFS的shell操作

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

NN工作机制

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

里面是二进制

DN工作原理

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

上传完了之后,在hdfs的虚拟路径下,有这个文件,其实,是切分成很多block,放到公共的datanode文件夹下。

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

134217728/1024/1024=128M,所以,分成个Block。

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

其实,此刻,blk_1073741856等价于jdk-7u65-linux-i586.tar.gz。

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

所以,文件被是切分成很多block,放到公共的datanode文件夹下。也可以合并,上述,就是合并,照样,达到复原。。。

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

1  weekend110的NN元数据管理机制  + NN工作机制 + DN工作原理-LMLPHP

这里,有个知识点,blk_1073741856和blk_1073741857,没有显示出来。

05-11 11:31