AFL源码分析（一）
文章首发于：ChaMd5公众号 https://mp.weixin.qq.com/s/E-D_M25xv5gIpRa6k8xOvw
a.alf-gcc.c
1.find_as
这个函数的功能是获取使用的汇编器。首先获取环境变量AFL_PATH，如果这个环境变量存在的话，接着把他和/as拼接，并判断次路径下的as文件是否存在。如果存在，就使得as_path = afl_path = getenv("AFL_PATH")。如果不存在就通过第二种方式尝试获取其路径。首先判断是否存在/，并把最后一个/之后的路径清空，之后为其前面的路径分配空间，并与/afl-as拼接后判断这个文件是否存在，如果存在，则使得as_path = dir = ck_strdup(argv0)。如果这两种方式都不能找到相应路径，即会爆出异常。
2.edit_params
这个函数的主要功能是对编译所用到的参数进行编辑。先为cc_params分配一大块内存空间，然后尝试获取argv[0]的最后一个/的位置，如果存在就把它后面的内容设为name，否则name=argv[0]。之后判断我们预期的编译是不是afl-clang模式，如果是的话就设置clang_mode = 1，设置环境变量CLANG_ENV_VAR为 1，并添加相应的编译参数。如果不是clang模式，则判断name是否等于afl-g++,afl-gcj等选项，并添加相应的参数。接着从argv[1]开始遍历编译选项，会跳过-B -integrated-as -pipe这三个选项，因为edit_params会自动添加这三个编译选项。最后cc_params[cc_par_cnt] = NULL标志结束对选项的编辑。
3.main
int main(int argc, char** argv) {
if (isatty(2) && !getenv("AFL_QUIET")) {
SAYF(cCYA "afl-cc " cBRI VERSION cRST " by <[email protected]>\n");
} else be_quiet = 1;
if (argc < 2) {
SAYF("\n"
"This is a helper application for afl-fuzz. It serves as a drop-in replacement\n"
"for gcc or clang, letting you recompile third-party code with the required\n"
"runtime instrumentation. A common use pattern would be one of the following:\n\n"
" CC=%s/afl-gcc ./configure\n"
" CXX=%s/afl-g++ ./configure\n\n"
"You can specify custom next-stage toolchain via AFL_CC, AFL_CXX, and AFL_AS.\n"
"Setting AFL_HARDEN enables hardening optimizations in the compiled code.\n\n",
BIN_PATH, BIN_PATH);
exit(1);
}
find_as(argv[0]);
edit_params(argc, argv);
execvp(cc_params[0], (char**)cc_params);
FATAL("Oops, failed to execute '%s' - check your PATH", cc_params[0]);
return 0;
}
总体来说就是先调用find_as(argv[0])获取使用的汇编器,再调用edit_params(argc, argv)对编译选项进行编辑，再通过execvp去进行编译。总的来说alf-gcc是对gcc或clang的一个wrapper。而其中强制加上的-B as_path实际上是给其指定汇编器，也就是我们下面会提到的afl-as。实际的插桩也就是在afl-as里进行插桩的。
b.afl-as
1.edit_params
这个函数的主要功能是编辑汇编器所用到的参数。首先获取环境变量TMPDIR和AFL_AS。接着根据是否是clang模式并且afl_as是否为空，去判断是否要重新获取afl_as的值，直到其不为空。接着获取tmp_dir的值，直到其不为空。下面就是给as_params分配一大块空间，并开始对参数进行编辑。首先先设置as_params[0]，也即汇编器，一般来说这里都是as。接着从argv[1]遍历到argv[argc-1]，看是否存在--64，如果存在--64就使得use_64bit = 1。如果定义了__APPLE__，那么如果存在-arch x86_64就使得use_64bit = 1。并且其会忽略-q或者-Q选项。其余选项参数都会依此加到as_params[as_par_cnt++]中。如果定义了__APPLE__，接下来会判断是否是clang模式，如果是那么添加-c -x assembler的选项。紧接着把argv[argc - 1]赋给 input_file，即最后一个参数的值为input_file的值。下面会判断input_file，是否与--version相等，如果相等，标志just_version=1，可能是代表查询版本。如果不等那么将input_file与 tmp_dir、/var/tmp/、/tmp/进行比较，如果都不相同，则设置pass_thru = 1。并通过格式化字符串设置modified_file = tmp_dir/.afl-getpid()-(u32)time(NULL).s。最后设置as_params[as_par_cnt++] = modified_file，并结束对as_params的编辑。
2.add_instrumentation
这个函数就是进行插桩的关键函数了。首先判断文件是否存在并且可读，不满足就抛出异常。然后打开modified_file里的临时文件，获得其句柄outfd，再通过句柄拿到文件对应的指针。
if (input_file) { // 判断文件是否存在并可读
inf = fopen(input_file, "r");
if (!inf) PFATAL("Unable to read '%s'", input_file);
} else inf = stdin; // 文件不存在，则标准输入作为 input_file
outfd = open(modified_file, O_WRONLY | O_EXCL | O_CREAT, 0600); // 打开这个临时文件
if (outfd < 0) PFATAL("Unable to write to '%s'", modified_file);
outf = fdopen(outfd, "w");
if (!outf) PFATAL("fdopen() failed");
接下来就是插桩的关键部分了。
while (fgets(line, MAX_LINE, inf)) { // 逐行从inf读取文件到line数组里
/* In some cases, we want to defer writing the instrumentation trampoline
until after all the labels, macros, comments, etc. If we're in this
mode, and if the line starts with a tab followed by a character, dump
the trampoline now. */
if (!pass_thru && !skip_intel && !skip_app && !skip_csect && instr_ok && // 判断是否满足插桩条件
instrument_next && line[0] == '\t' && isalpha(line[1])) {
fprintf(outf, use_64bit ? trampoline_fmt_64 : trampoline_fmt_32, // 根据use_64bit插入相应的插桩代码
R(MAP_SIZE));
instrument_next = 0;
ins_lines++;
}
首先是一个大while循环，通过fgets逐行从inf读取文件到line数组里，最多MAX_LINE也即8192字节。并且通过几个标记的值来判断是否要插入相应的代码。并且根据use_64bit的值来确定插入的是trampoline_fmt_64还是trampoline_fmt_32。
fputs(line, outf); // 把 line 写到 modified_file 里
if (pass_thru) continue;
/* All right, this is where the actual fun begins. For one, we only want to // 通过注释可以知道我们只对.text进行插桩
instrument the .text section. So, let's keep track of that in processed // 通过 instr_ok 来标记是否在 .text 段
files - and let's set instr_ok accordingly. */
if (line[0] == '\t' && line[1] == '.') {
/* OpenBSD puts jump tables directly inline with the code, which is
a bit annoying. They use a specific format of p2align directives
around them, so we use that as a signal. */
if (!clang_mode && instr_ok && !strncmp(line + 2, "p2align ", 8) &&
isdigit(line[10]) && line[11] == '\n') skip_next_label = 1;
if (!strncmp(line + 2, "text\n", 5) || // 如果 line 的值为 \t.text\n
!strncmp(line + 2, "section\t.text", 13) || // 或 \t.section\t.text
!strncmp(line + 2, "section\t__TEXT,__text", 21) || // 或 \t.section\t__TEXT,__text
!strncmp(line + 2, "section __TEXT,__text", 21)) { // 或 \t.section __TEXT,__text
instr_ok = 1; // 设置 instr_ok = 1，并跳转到开头读取下一行内容
continue;
}
if (!strncmp(line + 2, "section\t", 8) || // 如果 line 的值为 \t.section\t
!strncmp(line + 2, "section ", 8) || // 或 \t.section
!strncmp(line + 2, "bss\n", 4) || // 或 \tbss\n
!strncmp(line + 2, "data\n", 5)) { // 或 \tdata\n
instr_ok = 0; // 设置 instr_ok = 0，并跳转到开头读取下一行内容
continue;
}
}
我们会把line里的值写道outf(即modified_file)里。根据官方给的注释可以知道我们只期望对text段进行插桩，并且通过设置instr_ok来标记是否是text段。如果line+2匹配到\t.text\n、\t.section\t.text等就设置instr_ok=1，如果line+2匹配到\t.section\t、\t.section等就设置instr_ok=0。并跳过下面的代码，直接跳到循环的开头读取下一行的内容。
// 接下来设置一些其他的标志
/* Detect off-flavor assembly (rare, happens in gdb). When this is
encountered, we set skip_csect until the opposite directive is
seen, and we do not instrument. */
if (strstr(line, ".code")) { // 判断 off-flavor
if (strstr(line, ".code32")) skip_csect = use_64bit;
if (strstr(line, ".code64")) skip_csect = !use_64bit;
}
/* Detect syntax changes, as could happen with hand-written assembly.
Skip Intel blocks, resume instrumentation when back to AT&T. */
if (strstr(line, ".intel_syntax")) skip_intel = 1; // 跳过 Intel汇编的插桩
if (strstr(line, ".att_syntax")) skip_intel = 0;
/* Detect and skip ad-hoc __asm__ blocks, likewise skipping them. */
if (line[0] == '#' || line[1] == '#') { // 跳过 ad-hoc __asm__(内联汇编) 的插桩
if (strstr(line, "#APP")) skip_app = 1;
if (strstr(line, "#NO_APP")) skip_app = 0;
}
在往下就是设置一些其他的标志来判断是否跳过插桩。主要是跳过与设置架构不同的架构的汇编，跳过Intel汇编，跳过内联汇编的插桩。
/* If we're in the right mood for instrumenting, check for function
names or conditional labels. This is a bit messy, but in essence,
we want to catch:
^main: - function entry point (always instrumented)
^.L0: - GCC branch label
^.LBB0_0: - clang branch label (but only in clang mode)
^\tjnz foo - conditional branches
...but not:
^# BB#0: - clang comments
^ # BB#0: - ditto
^.Ltmp0: - clang non-branch labels
^.LC0 - GCC non-branch labels
^.LBB0_0: - ditto (when in GCC mode)
^\tjmp foo - non-conditional jumps
Additionally, clang and GCC on MacOS X follow a different convention
with no leading dots on labels, hence the weird maze of #ifdefs
later on.
*/
if (skip_intel || skip_app || skip_csect || !instr_ok ||
line[0] == '#' || line[0] == ' ') continue;
/* Conditional branch instruction (jnz, etc). We append the instrumentation
right after the branch (to instrument the not-taken path) and at the
branch destination label (handled later on). */
if (line[0] == '\t') {
if (line[1] == 'j' && line[2] != 'm' && R(100) < inst_ratio) {
fprintf(outf, use_64bit ? trampoline_fmt_64 : trampoline_fmt_32, // 通过 use_64bit，判断写入trampoline_fmt_64还是trampoline_fmt_32
R(MAP_SIZE));
ins_lines++;
}
continue;
}
/* Label of some sort. This may be a branch destination, but we need to
tread carefully and account for several different formatting
conventions. */
#ifdef __APPLE__
/* Apple: L<whatever><digit>: */
if ((colon_pos = strstr(line, ":"))) {
if (line[0] == 'L' && isdigit(*(colon_pos - 1))) {
#else
/* Everybody else: .L<whatever>: */
if (strstr(line, ":")) { // 检查 line 里是否有 :
if (line[0] == '.') { // 判断 line 是否以 . 开始
#endif /* __APPLE__ */
/* .L0: or LBB0_0: style jump destination */
#ifdef __APPLE__
/* Apple: L<num> / LBB<num> */
if ((isdigit(line[1]) || (clang_mode && !strncmp(line, "LBB", 3)))
&& R(100) < inst_ratio) {
#else
/* Apple: .L<num> / .LBB<num> */
if ((isdigit(line[2]) || (clang_mode && !strncmp(line + 1, "LBB", 3))) // 如果 line[2] 是数字，或者在 clang 模式下，line = .LBB
&& R(100) < inst_ratio) {
#endif /* __APPLE__ */
/* An optimization is possible here by adding the code only if the
label is mentioned in the code in contexts other than call / jmp.
That said, this complicates the code by requiring two-pass
processing (messy with stdin), and results in a speed gain
typically under 10%, because compilers are generally pretty good
about not generating spurious intra-function jumps.
We use deferred output chiefly to avoid disrupting
.Lfunc_begin0-style exception handling calculations (a problem on
MacOS X). */
if (!skip_next_label) instrument_next = 1; else skip_next_label = 0; // 如果 skip_next_label == 0
}
} else { // 否则就是函数(function)，给 function 直接设置 instrument_next = 1
/* Function label (always instrumented, deferred mode). */
instrument_next = 1;
}
}
}
接下来是对其他的标志进行设置，可以从注释中看出我们想对main、.L0、.LBB0_0(clang mode)、\tjnz foo或者function等地方设置instrument_next = 1。其他部分看我对源码加的注释。
循环结束后，接下来如果ins_lines不为空，那么通过use_64bit，判断向 outf 里写入main_payload_64还是main_payload_32。并且关闭两个文件。
3.main
主函数就比较简单了。首先获取环境变量AFL_INST_RATIO，并检测其是否合法（在0-100之间）。通过当前时间和进程号来获取并设置srandom的随机种子。获取环境变量AS_LOOP_ENV_VAR，如果存在就抛出异常。
调用edit_params设置相关参数。获取环境变量AFL_USE_ASAN和AFL_USE_MSAN，如果有一个存在就设置 sanitizer = 1，inst_ratio /= 3，这是因为在进行ASAN的编译时，AFL无法识别出ASAN特定的分支，导致插入很多无意义的桩代码，所以直接暴力地将插桩概率/3。最后fork出一个子进程，执行 execvp(as_params[0], (char**)as_params)。
有注释的源码也放在了我的github项目里：https://github.com/fxc233/my-afl-interpret