一.HDFS的回收站: recyclebin

  1.HDFS的回收站默认是关闭的

2.启用回收站:去core-site.xml配置

  路径:/root/training/hadoop-2.7.3/etc/hadoop

<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>

3.配置完成后删除目录 hdfs dfs -rmr /folder1

日志:

18/02/26 23:08:03 INFO fs.TrashPolicyDefault: Namenode trash configu ration: Deletion interval = 1440 minutes, Emptier interval = 0 minut es.
Moved: 'hdfs://bigdata11:9000/folder1' to trash at: hdfs://bigdata11 :9000/user/root/.Trash/Current

本质:删除数据的时候,实际是一个ctrl+x操作

  4.查看回收站:hdfs dfs -lsr /user/root/.Trash/Current

大数据笔记(五)——HDFS的高级特性-LMLPHP

  5.恢复:实际就是拷贝  hdfs dfs -cp /user/root/.Trash/Current/input/data.txt /input

  6.清空:hdfs dfs -expunge

二.HDFS的快照  snapshot:备份

  1.默认:HDFS的快照是禁用的

  2.开启快照第一步:管理员开启某个目录的快照功能
  [-allowSnapshot <snapshotDir>]
  [-disallowSnapshot <snapshotDir>]

  hdfs dfsadmin -allowSnapshot /aaa

  3.第二步:使用HDFS的操作命令,创建快照

  [-createSnapshot <snapshotDir> [<snapshotName>]]
  [-deleteSnapshot <snapshotDir> <snapshotName>]
  [-renameSnapshot <snapshotDir> <oldName> <newName>]

  hdfs dfs -createSnapshot /aaa aaa_backup_01
  日志:Created snapshot /aaa/.snapshot/aaa_backup_01
  本质:将数据拷贝一份到当前目录的一个隐藏目录下

  4.对比快照:hdfs snapshotDiff /aaa aaa_backup_01 aaa_backup_02

  大数据笔记(五)——HDFS的高级特性-LMLPHP

三.HDFS的配额:quota

  1.名称配额: 规定某个目录下,存放文件(目录)的个数

  实际的个数:N-1个
  [-setQuota <quota> <dirname>...<dirname>]
  [-clrQuota <dirname>...<dirname>]

  hdfs dfs -mkdir /quota1
  设置该目录的名称配额:3
  hdfs dfsadmin -setQuota 3 /quota1

  当我们放第三个文件的时候
  hdfs dfs -put data.txt /quota1
  

put: The NameSpace quota (directories and files) of directory /quota1 is exceeded: quota=3 file count=4

  2.空间配额: 规定某个目录下,文件的大小
  [-setSpaceQuota <quota> [-storageType <storagetype>] <dirname>...<dirname>]
  [-clrSpaceQuota [-storageType <storagetype>] <dirname>...<dirname>]

  hdfs dfs -mkdir /quota2
  设置该目录的空间配额是:10M
  hdfs dfsadmin -setSpaceQuota 10M /quota2

  正确的做法:hdfs dfsadmin -setSpaceQuota 130M /quota2

  放一个小于10M的文件,会出错
  

Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.DSQuotaExceededException): The DiskSpace quota of /quota2 is exceeded: quota = 10485760 B = 10 MB but diskspace consumed = 134217728 B = 128 MB

  注意:尽管数据不到128M,但是占用的数据块依然是128M
  切记:当设置空间配额的时候,这个值不能小于128M

四.HDFS的权限

drwxr-xr-x - root supergroup 0 2018-02-26 23:30 /aaa

权限            用户名  组名                                   文件目录

参考命令链接:http://blog.csdn.net/feeltouch/article/details/46538277

五.HDFS的安全模式

  一种保护机制,用于保护数据块的安全性。

05-11 22:00