Solving Inverse Problems With Deep Neural Networks - Robustness Included
1 动机与研究内容
- 最近工作发现深度神经网络对于图像重构的不稳定(instabilities)，以及分类中的对抗攻击，在输入域发生微小改变时就会造成输出非常大的改变。
- 本篇论文对深度神经网络解决欠定(underdetermined)的逆问题的鲁棒性(robustness)进行了研究。研究内容包括用Guassian measurement的压感(compressed sening)以及通过Founier and Radon measurement的图像恢复，
- 实验结果表示标准的端到端(end-to-end)的网络结构不仅对噪音有弹性，而且对对抗扰动也有弹性(resilient)。
2 问题背景
- 通过间接的方法实现信号重构(signal reconstruction)在各种应用中具有重要作用，这样的任务呗称作逆问题
（1）
- 数据的获取通常costly，所以undetermined regime( m ≪ N m \ll N m≪N)受到了广泛的研究，这样的重构问题叫做ill-posed inverse problem
- compressed sensing已经证明解决重构问题有着准确性以及鲁棒性的优点，该方法有一个映射Rec R m → R N \mathbb{R}^{m} \rightarrow \mathbb{R}^{N} Rm→RN，使得（1）满足一个错误边界：
∥ x 0 − Rec ( y ) ∥ 2 ≤ C ⋅ η \left\|\boldsymbol{x}_{0}-\operatorname{Rec}(\boldsymbol{y})\right\|_{2} \leq C \cdot \eta ∥x0−Rec(y)∥2≤C⋅η（2）
但是在real world，受到计算cost、人工调参、以及测量数据与真实数据的mismatch
- 现在神经网络的方法来实现重构，利用有监督的样本训练实现重构，需要大量样本训练。由于不能满足（2）的理论保证，其准确性和抗测量噪声的鲁棒性的经验验证是至关重要的
- 研究robust against noise具有重要意义。
3 本文方法
３.１ Neural Network Architectures
UNet： R m → R N , y ↦ [ U ∘ A † ] ( y ) \mathbb{R}^{m} \rightarrow \mathbb{R}^{N}, \boldsymbol{y} \mapsto\left[\mathcal{U} \circ \mathcal{A}^{\dagger}\right](\boldsymbol{y}) Rm→RN,y↦[U∘A†](y)
- TiraFL: R m → R N , y ↦ [ T ∘ L ] ( y ) \text { TiraFL: } \mathbb{R}^{m} \rightarrow \mathbb{R}^{N}, \boldsymbol{y} \mapsto[\mathcal{T} \circ \mathcal{L}](\boldsymbol{y}) TiraFL: Rm→RN,y↦[T∘L](y)
- ItNet: R m → R N , y ↦ [ ( ◯ k = 1 K [ D C λ k , y , A ∘ U ] ) ∘ A † ] ( y ) \text { ItNet: } \mathbb{R}^{m} \rightarrow \mathbb{R}^{N}, \boldsymbol{y} \mapsto\left[\left(\bigcirc_{k=1}^{K}\left[\mathcal{D} \mathcal{C}_{\lambda_{k}, \boldsymbol{y}, \mathcal{A}} \circ \mathcal{U}\right]\right) \circ \mathcal{A}^{\dagger}\right](\boldsymbol{y}) ItNet: Rm→RN,y↦[(◯k=1K[DCλk,y,A∘U])∘A†](y)
其中， D C λ k , y , A : R N → R N , x ↦ x − λ k ⋅ A ∗ ( A x − y ) \mathcal{D} \mathcal{C}_{\lambda_{k}, \boldsymbol{y}, \mathcal{A}}: \mathbb{R}^{N} \rightarrow \mathbb{R}^{N}, \boldsymbol{x} \mapsto \boldsymbol{x}-\lambda_{k} \cdot \mathcal{A}^{*}(\mathcal{A} \boldsymbol{x}-\boldsymbol{y}) DCλk,y,A:RN→RN,x↦x−λk⋅A∗(Ax−y)
３.２ Total-Variation Minimization
Total variation (TV) minimization是一种求解信号和图像重构任务的方法，解决（１）的以下列的形式：
T V [ η ] : R m → R N y ↦ argmin x ∈ R N ∥ ∇ x ∥ 1 s.t. ∥ A x − y ∥ 2 ≤ η \begin{aligned} \mathrm{TV}[\eta]: \mathbb{R}^{m} & \rightarrow \mathbb{R}^{N} \\ \boldsymbol{y} & \mapsto \underset{\boldsymbol{x} \in \mathbb{R}^{N}}{\operatorname{argmin}}\|\nabla \boldsymbol{x}\|_{1} \quad \text { s.t. } \quad\|\mathcal{A} \boldsymbol{x}-\boldsymbol{y}\|_{2} \leq \eta \end{aligned} TV[η]:Rmy→RN↦x∈RNargmin∥∇x∥1 s.t. ∥Ax−y∥2≤η
３.３ Adversarial Noise
e a d v = argmax e ∈ R m ∥ Rec ( y 0 + e ) − x 0 ∥ 2 s.t. ∥ e ∥ 2 ≤ η \boldsymbol{e}_{\mathrm{adv}}=\underset{\boldsymbol{e} \in \mathbb{R}^{m}}{\operatorname{argmax}}\left\|\operatorname{Rec}\left(\boldsymbol{y}_{0}+\boldsymbol{e}\right)-\boldsymbol{x}_{0}\right\|_{2} \quad \text { s.t. } \quad\|\boldsymbol{e}\|_{2} \leq \eta eadv=e∈Rmargmax∥Rec(y0+e)−x0∥2 s.t. ∥e∥2≤η
4 总结
- 所有训练的NNs对噪音数据都具有明显的鲁棒性
- 提高在迭代策略中数据的一致性(consistency)可能提高准确性和鲁棒性
- 不应该仅仅使用无噪声的数据进行训练，论文中也揭示了仅仅简单的添加白高斯噪音也是一种有效策略（一种正则化的方法）
- 核心：分类任务中对抗性例子的存在不会自然地影响到基于NN的反问题求解器。这样的重建方案不仅可以取代传统的方法，成为最先进的，但他们也显示了类似程度的鲁棒性
5 相关工作
- 现在许多现有文章是关注于分类和相关任务，少数文献研究明确解决了逆问题中的学习求解器的对抗鲁棒性
- Huang等首次将对抗性攻击迁移到基于神经网络的重构方法，他们最初的发现局限于有限角度计算机断层摄影的特定问题，在特定问题中图像的某些部分被证明是不可能有robust recovery