名称配额(Name Quota)

名称配额是在对应的目录下所有文件和目录名称的数量上的限制。
当超过这个配额的时候,文件或目录就会创建失败,重命名后名称配额仍然有效

步骤

  1. 创建一个测试目录
  2. 设置创建的目录的名称配额
  3. 查看目录的配额信息
  4. put 文件进行名称配额测试
  5. 清除配额限制
  6. 再次 put 一个文件

创建一个测试目录

hdfs dfs -mkdir /shitao/test_quota1

设置创建的目录的名称配额

hdfs dfsadmin -setQuota 2 /shitao/test_quota1

查看目录的配额信息

hdfs dfs -count -q /shitao/test_quota1
设置前noneinfnoneinf100/shitao/test_quota
设置后21noneinf100/shitao/test_quota

put 文件进行名称配额测试

hdfs dfs -put demo.csv /shitao/test_quota1/
hdfs dfs -count -q /shitao/test_quota1
上传一个文件后20noneinf111469/shitao/test_quota
hdfs dfs -put test.csv /shitao/test_quota1/
put: The NameSpace quota (directories and files) of directory /shitao/test_quota is exceeded: quota=2 file count=3

清除配额限制

hdfs dfsadmin -clrQuota /shitao/test_quota1

再次 put 一个文件

hdfs dfs -put test.csv /shitao/test_quota1/
hdfs dfs -count -q /shitao/test_quota1
清除配额限制后noneinfnoneinf122575/shitao/test_quota

空间配额(Space Quota)

空间配额是目录的空间大小限制。
如果超过这个配额,块写入操作会失败。副本也算配额中的一部分。
空间配额为0的时候,可以创建文件,但是不能向文件中写入内容。 

步骤

  1. 创建一个测试目录
  2. 生成测试 100MB 大小的文件
  3. 设置空间配额大小为 200MB
  4. put 文件测试
  5. 修改空间配额大小为 385MB
  6. put 一个文件
  7. 清除配额限制
  8. 再次 put 一个文件

创建测试目录

hdfs dfs -mkdir /shitao/test_quota2

生成测试 100MB 大小的文件

dd if=/dev/zero of=./file bs=1M count=100
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 0.0813538 s, 1.3 GB/s
du -sh
100M    .

设置空间配额大小为 200MB

hdfs dfsadmin -setSpaceQuota 209715200 /shitao/test_quota2

上传文件测试

hdfs dfs -put file /shitao/test_quota2/
put: The DiskSpace quota of /shitao/test_quota2 is exceeded: quota = 209715200 B = 200 MB but diskspace consumed = 402653184 B = 384 MB

修改空间配额大小为 385MB

hdfs dfsadmin -setSpaceQuota 403701760 /shitao/test_quota2

put 一个文件

hdfs dfs -put file /shitao/test_quota2/
hdfs dfs -count -q /shitao/test_quota2/
清除配额限制后noneinf4037017608912896011104857600/shitao/test_quota
hdfs dfs -put file /shitao/test_quota2/test
put: The DiskSpace quota of /shitao/test_quota2 is exceeded: quota = 403701760 B = 385 MB but diskspace consumed = 717225984 B = 684 MB

清除空间配额

hdfs dfsadmin -clrSpaceQuota /shitao/test_quota2

再次 put 一个文件

hdfs dfs -put file /shitao/test_quota2/test
01-07 16:40