我在x86u64 Linux上使用gcc 4.8和glibc 2.19。
在对a different question使用不同的输入方法时,我比较了fscanf
和sscanf
。具体来说,我要么直接在标准输入上使用fscanf
:
char s[128]; int n;
while (fscanf(stdin, "%127s %d", s, &n) == 2) { }
或者我先将整个输入读取到缓冲区中,然后使用
sscanf
遍历缓冲区。(将所有内容读入缓冲区只需要很短的时间。)char s[128]; int n;
char const * p = my_data;
for (int b; sscanf(p, "%127s %d%n", s, &n, &b) == 2; p += b) { }
令我惊讶的是,
fscanf
版本的速度要快得多。例如,使用fscanf
处理数万行需要这么长的时间:10000 0.003927487 seconds time elapsed
20000 0.006860206 seconds time elapsed
30000 0.007933329 seconds time elapsed
40000 0.012881912 seconds time elapsed
50000 0.013516816 seconds time elapsed
60000 0.015670432 seconds time elapsed
70000 0.017393129 seconds time elapsed
80000 0.019837480 seconds time elapsed
90000 0.023925753 seconds time elapsed
现在与
sscanf
相同:10000 0.035864643 seconds time elapsed
20000 0.127150772 seconds time elapsed
30000 0.319828373 seconds time elapsed
40000 0.611551668 seconds time elapsed
50000 0.919187459 seconds time elapsed
60000 1.327831544 seconds time elapsed
70000 1.809843039 seconds time elapsed
80000 2.354809588 seconds time elapsed
90000 2.970678416 seconds time elapsed
我用google perf工具来衡量这个。例如,对于50000行,
fscanf
代码需要大约50米周期,sscanf
代码需要大约3300米周期。所以我用perf record
/perf report
分解了顶级呼叫站点。使用fscanf
: 35.26% xf libc-2.19.so [.] _IO_vfscanf
23.91% xf [kernel.kallsyms] [k] 0xffffffff8104f45a
8.93% xf libc-2.19.so [.] _int_malloc
以及
sscanf
: 98.22% xs libc-2.19.so [.] rawmemchr
0.68% xs libc-2.19.so [.] _IO_vfscanf
0.38% xs [kernel.kallsyms] [k] 0xffffffff8104f45a
所以几乎所有
sscanf
的时间都花在rawmemchr
上!这是为什么?如何避免这种成本?我试着寻找这个,但我能想到的最好的办法是锁定呼叫的this discussion,我认为这里不适用。我还认为
fscanf
具有更好的内存局部性(一遍又一遍地使用相同的缓冲区),但这并不能造成如此大的差异。有人对这种奇怪的差异有什么见解吗?
最佳答案
sscanf()将传入的字符串转换为_IO_FILE*
,使字符串看起来像一个“文件”。这是因为同一个内部_io_vfsanf()可以同时用于字符串和文件*。
但是,作为该转换的一部分,它在一个_io_str_in it_static_internal()函数中完成,它对输入字符串调用__rawmemchr (ptr, '\0');
本质上是一个strlen()调用。这种转换是在每次调用sscanf()时完成的,由于输入缓冲区相当大,它将花费相当长的时间计算输入字符串的长度。
另一种选择是使用fmemopen()和fscanf()从输入字符串创建文件*。
关于c - 为什么glibc的sscanf在Linux上比fscanf慢得多?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/23923924/