首先,我是一个bash noob,所以请温柔:)
我正在尝试对位于不同位置但名称相同的文件夹的大小求和。它看起来像这样:
root
--- directory 1
------ folder 1
--------subfolder 1
--------subfolder 2
------ folder 2
--------subfolder 3
--------subfolder 4
------ folder 3
--------subfolder 5
--------subfolder 6
--- directory 2
------ folder 1
--------subfolder 1
--------subfolder 2
------ folder 2
--------subfolder 3
--------subfolder 4
------ folder 3
--------subfolder 5
--------subfolder 6
我试图总结子目录 1 到 6 的大小并将其输出到 .csv
目前我只是在两个单独的 CSV 文件中输出子目录的大小。一份用于目录 1,一份用于目录 2
目前我有这个来输出我在需要它们的地方运行的子文件夹的大小:
du -h --max-depth=1 --block-size=GB * | grep "[\/]" | sort -n -r > ~/lists/disks/RC_job.csv
输出如下所示:
40GB folder1/subfolder1
15GB folder1/subfolder2
10GB folder2/subfolder 3
...
我有一个目录 1 的输出和一个目录 2 的输出。我想对目录 1 和目录 2 中的子文件夹的大小求和,并有一个看起来像这样的输出
60GB subfolder1
25GB subfolder2
10GB subfolder3
其中 subfolder1 是 directory1/folder1/subfolder1 + directory2/folder1/subfolder1
这是我在这里的第一篇文章,我不知道这是否足够信息。如果需要,我很乐意提供更多。我很确定这可以用 awl 来完成,但我还没有真正使用过。
干杯!
编辑以回答评论中的问题:
du -h /net/rcq-rp/job/rcq/vault/image/film /net/rcq-rp/job/rcq/film --max-depth=1 --block-size=GB *
的(部分)输出是:1GB /net/rcq-rp/job/rcq/vault/image/film/nr106/nr106_0010
1GB /net/rcq-rp/job/rcq/vault/image/film/nr106/nr106_0020
1GB /net/rcq-rp/job/rcq/vault/image/film/nr106/nr106_0030
1GB /net/rcq-rp/job/rcq/vault/image/film/nr106/nr106_0035
1GB /net/rcq-rp/job/rcq/vault/image/film/nr106/nr106_0040
1GB /net/rcq-rp/job/rcq/vault/image/film/nr106/nr106_0045
2GB /net/rcq-rp/job/rcq/vault/image/film/nr106/nr106_0050
1GB /net/rcq-rp/job/rcq/vault/image/film/nr106/nr106_0060
1GB /net/rcq-rp/job/rcq/film/nr106/nr106_0010
1GB /net/rcq-rp/job/rcq/film/nr106/nr106_0020
1GB /net/rcq-rp/job/rcq/film/nr106/nr106_0030
1GB /net/rcq-rp/job/rcq/film/nr106/nr106_0035
1GB /net/rcq-rp/job/rcq/film/nr106/nr106_0040
1GB /net/rcq-rp/job/rcq/film/nr106/nr106_0045
1GB /net/rcq-rp/job/rcq/film/nr106/nr106_0050
1GB /net/rcq-rp/job/rcq/film/nr106/nr106_0060
理想情况下,最终输出将是:
2GB nr106_0010
etc...
最佳答案
一种方法是使用关联数组。关联数组将一系列键映射到值,例如:
directory1 -> 10 GB
directory2 -> 12 MB
directory3 -> 40 KB
关联数组中的键必须是唯一的。那太棒了!我们目录的路径也是独一无二的。让我们把它们放在一个关联数组中。我将在
awk
中展示如何做到这一点,但许多其他语言都有关联数组(如 Perl,它称它们为哈希)。du | awk '{ val = $1; dir = $2; sizes[dir] = val }'
(为了简单起见,我取出了您传递给
du
的参数)这有什么作用?
awk
逐行读取 du
的输出;对于每一行,它向关联数组 sizes
添加一个元素,以目录名作为索引,以大小作为值。如果我们的原始输入看起来像这样40GB folder1/subfolder1
15GB folder1/subfolder2
10GB folder2/subfolder1
我们的数组看起来像这样:
sizes[folder1/subfolder1] -> 40GB
sizes[folder1/subfolder2] -> 15GB
sizes[folder2/subfolder1] -> 10GB
但是在我们的最终输出中,我们只想查看子目录的值。
awk
有用于字符串操作的函数,所以让我们调整我们的代码以去除前导目录:du | awk '{ val = $1; dir = $2; sub(/^.*\//, "", dir); sizes[dir] = val }'
sub
函数删除从最后一个 /
到路径开头的所有内容。现在我们的数组看起来像这样:sizes[subfolder2] -> 15GB
sizes[subfolder1] -> 10GB
伟大的!现在我们只有子目录的值。只有一个小问题。这些值不是总数。由于我们有多个名为
subfolder1
的子目录,我们用第二个值 (10GB) 覆盖了第一个值 (40GB)。当我们遇到数组中已经存在的索引时,我们真正想做的是将其值添加到现有值中:du | awk '{ val = $1; dir = $2; sub(/^.*\//, "", dir); sizes[dir] += val }'
(我将使用赋值的
sizes[dir] = val
更改为 sizes[dir] += val
,它将 val
添加到 sizes[dir]
中已有的任何内容中)awk
神奇地为我们处理了一些事情,比如将 15GB 转换为数字 15。现在我们的数组看起来像这样:sizes[subfolder2] -> 15
sizes[subfolder1] -> 50
这向我们展示了我们正在寻找的总数。现在,我们如何显示它?我们可以循环遍历数组并打印出这样的键和值:
du | awk '{ val = $1; dir = $2; sub(/^.*\//, "", dir); sizes[dir] += val } \
END { for (dir in sizes) print dir, sizes[dir], "GB" }'
我们的结果是
subfolder1 50 GB
subfolder2 15 GB
编辑: 这是我在更新的问题中使用
du
输出得到的结果。nr106_0060 2 GB
nr106_0050 3 GB
nr106_0045 2 GB
nr106_0040 2 GB
nr106_0035 2 GB
nr106_0030 2 GB
nr106_0020 2 GB
nr106_0010 2 GB
关于linux - BASH : Sum size of same name directories,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/18986707/