Note：[ wechat：Y466551 | 可加勿骚扰，付费咨询 ]
论文信息
1 Introduction
出发点：当使用对抗性训练的时候，因为抑制领域特定的变化时，会扭曲原始的特征分布；
事实：
Figure2(b)：
- 使用源域和目标域的标记数据做测试，对比了使用对抗性训练（DANN、MCD）和监督训练（EestNet50）的测试误差；
- 结论：使用对抗性训练，减少特定领域的变化不可避免地打破了原始表示的判别结构；
Figure2(c)：
计算特征表示层模型权重的奇异值分布；
结论：使用对抗性训练的奇异值分布更加重尾，表示条件更差和更扭曲的特征表示；
2 方法
2.1 模型框架
2.2 Adversarial Generation of Transferable Examples
现有的对抗性特征自适应方法通过学习领域不变表示来减少特定领域的变化。用 $f = F (x)$ 表示特征提取器，用 $d = D (f)$ 表示域鉴别器。$D$ 和 $F$ 形成一个双人极大极小博弈：$D$ 训练区分源和目标，而 $F$ 同时训练混淆 $D$。然而，这样种过程可能会恶化适应性。为保证适应性，本文提出修复特征表示，并生成可转移的例子来弥合域差距。具体地说，仍然训练域鉴别器 $D$ 通过以下损失函数来区分源域和目标域：
$\begin{aligned}\ell_{d}\left(\theta_{D}, \mathbf{f}\right)= & -\frac{1}{n_{s}} \sum_{i=1}^{n_{s}} \log \left[D\left(\mathbf{f}_{s}^{(i)}\right)\right] \\& -\frac{1}{n_{t}} \sum_{i=1}^{n_{t}} \log \left[1-D\left(\mathbf{f}_{t}^{(i)}\right)\right] .\end{aligned} \quad\quad(1)$
分类器 $C$ 通过源域样本监督训练：
$\ell_{c}\left(\theta_{C}, \mathbf{f}\right)=\frac{1}{n_{s}} \sum_{i=1}^{n_{s}} \ell_{c e}\left(C\left(\mathbf{f}_{s}^{(i)}\right), \mathbf{y}_{s}^{(i)}\right) \quad\quad(2)$
与现有的对抗性训练方法不同，本文通过在一种新的对抗性训练范式中生成的可转移样本来填补源域和目标域之间的差距，从而减少分布变化。
生成的可转移样本需要满足两个条件：
- 首先，可转移的样本应该有效地混淆域鉴别器 $D$，从而填补域间隙，桥接源域和目标域；
- 其次，可转移的样本应该能够欺骗类别分类器 $C$，这样它们就可以推动决策边界远离数据点；
因此，可转移的样本是通过 $\ell_{c}$ 和 $\ell_{d}$ 的联合损失而反向生成的：
$\begin{aligned}\mathbf{f}_{t^{k+1}} \leftarrow \mathbf{f}_{t^{k}} & +\beta \nabla_{\mathbf{f}_{t^{k}}} \ell_{d}\left(\theta_{D}, \mathbf{f}_{t^{k}}\right) \\& -\gamma \nabla_{\mathbf{f}_{t^{k}}} \ell_{2}\left(\mathbf{f}_{t^{k}}, \mathbf{f}_{t^{0}}\right) \\\end{aligned} \quad\quad(3)$
$\begin{aligned}\mathbf{f}_{s^{k+1}} \leftarrow \mathbf{f}_{s^{k}} & +\beta \nabla_{\mathbf{f}_{s}} \ell_{d}\left(\theta_{D}, \mathbf{f}_{s^{k}}\right) \\& -\gamma \nabla_{\mathbf{f}_{s}} \ell_{2}\left(\mathbf{f}_{s^{k}}, \mathbf{f}_{s^{0}}\right) \\& +\beta \nabla_{\mathbf{f}_{s k}} \ell_{c}\left(\theta_{C}, \mathbf{f}_{s^{k}}\right)\end{aligned} \quad\quad(4)$
其中，$\mathbf{f}_{t^{0}}=\mathbf{f}_{t}, \mathbf{f}_{s^{0}}=\mathbf{f}_{s}, \mathbf{f}_{t *}=\mathbf{f}_{t^{K}}, \mathbf{f}_{s *}=\mathbf{f}_{s^{K}}$。
此外，为避免生成的样本的发散，控制生成的样本与原始样本之间的 $\ell_{2}$-距离。