我正在研究一个模拟模型,我想在其中确定存储 IOPS 容量何时成为瓶颈(例如,HDD 具有 ~150 IOPS,而 SSD 可以具有 150,000)。因此,我试图想出一种方法来在命令 (git) 中对某些不同的操作(推、 pull 、 merge 、克隆)中的 IOPS 进行基准测试。

到目前为止,我已经找到了 iostat 之类的工具,但是,我不确定如何将报告限制为单个命令的作用。

我能想到的最好的主意是确定我的 HDD IOPS 容量,在实际命令上使用时间,查看它持续多长时间,将其乘以 IOPS,这些就是我的 IOPS:

HDD ->150 IOPS
time df -h

real    0m0.032s

150 * .032 = 4.8 IOPS

但是,这当然是非常愚蠢的,因为执行的持续时间可能与 CPU 使用率而不是 HDD 使用率有关,所以除非 HDD 的使用率在那段时间是 100%,否则这样衡量是没有意义的。

那么,如何测量命令的 IOPS?

最佳答案

典型的 Linux 系统上有多个 time(1) 命令;默认是 bash(1) 内置的,它有点基本。还有 /usr/bin/time 您可以通过完全像那样调用它来运行它,或者通过在它前面加上反斜杠来告诉 bash(1) 不要使用别名和内置函数,例如: \time 。 Debian 在默认安装的“time”包中有它,Ubuntu 可能是相同的,其他发行版将非常相似。

以类似于 shell 内置函数的方式调用它已经更加冗长和信息丰富,尽管可能更加不透明,除非您已经熟悉这些数字的真正含义:

$ \time df
[output elided]
0.00user 0.00system 0:00.01elapsed 66%CPU (0avgtext+0avgdata 864maxresident)k
0inputs+0outputs (0major+261minor)pagefaults 0swaps

但是,我想提请您注意手册页,其中列出了用于自定义输出格式的 -f 选项,特别是 %w 格式,该格式计算进程为 I/O 放弃 CPU 时间片的次数:
$ \time -f 'ios=%w' du Maildir >/dev/null
ios=184
$ \time -f 'ios=%w' du Maildir >/dev/null
ios=1

请注意,第一次运行因 I/O 停止了 184 次,但第二次运行仅停止了一次。第一个数字是可信的,因为我的 ~/Maildir 中有 124 个目录:目录和 inode 的读取每个目录大约提供两个 IOPS,少一点,因为一些 inode 可能彼此相邻并在一个操作中读取,加上一些再次额外用于在 du(1) 二进制文件、共享库等中进行映射。

由于 Linux 的磁盘缓存,第二个数字当然更低。所以最后一步是刷新缓存。 sync(1) 是一个熟悉的命令,它将脏写入刷新到磁盘,但不刷新读取缓存。您可以通过将 3 写入 /proc/sys/vm/drop_caches 来刷新那个。 (其他值偶尔也有用,但这里需要 3。)作为非 root 用户,最简单的方法是:
echo 3 | sudo tee /proc/sys/vm/drop_caches

将它与 /usr/bin/time 结合起来应该允许您构建对您感兴趣的命令进行基准测试所需的脚本。

作为未成年人,使用 tee(1) 是因为这不起作用:
sudo echo 3 >/proc/sys/vm/drop_caches

原因?尽管 echo(1) 以 root 身份运行,重定向是作为您的普通用户帐户,它没有对 drop_caches 的写权限。 tee(1) 以 root 身份有效地进行重定向。

关于linux - 如何测量Linux中命令的IOPS?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/24442386/

10-14 14:13