DMCP

2020-CVPR-DMCP Differentiable Markov Channel Pruning for Neural Networks

Introduction

本文提出DMCP（可微分的通道剪枝）来高效地搜索子空间。

【DMCP】2020-CVPR-DMCP Differentiable Markov Channel Pruning for Neural Networks-论文阅读-LMLPHP

通道的修剪可以视为从未修剪的网络中搜索最佳的子结构（网络剪枝得到的子结构比继承的权重更重要）

之前的工作需要训练和评估很多子结构，开销大

卷积网络的剪枝主要依靠手工设计的范式（重要性指标）

剪枝后网络的结构对性能的影响更大，而不是所继承的”重要“权重

之前的（搜索子结构）的剪枝方法需要训练和评估大量的网络，因此可扩展性（修剪不同大小的网络）受到限制

在NAS中也有类似的问题，已经被可微分方法DARTS解决了

ps 与DATRS的区别

第一，搜索空间的不同。DARTS的搜索空间是一些预定义的操作，而我们的搜索空间是不同层通道的数量

第二，DARTS中的操作时互相独立的（比如两个node的连接之间的不同操作，卷积，池化，互不影响），但通道剪枝中，如果一层有k+1个通道，那么它首先要有k个通道。

我们通过将模型剪枝建模为马尔科夫过程，从而使之可以微分

DMCP中，我们将通道剪枝视为markov（马尔科夫）过程，剪枝中的markov状态（state）代表是否保留相应的通道，状态之间的转移视为剪枝的过程

每一层为一个马尔科夫过程，状态 \(S_k\) 表示保留第k个通道。状态 \(S_k\) 到 \(S_{k+1}\) 的转移代表保留第k+1个通道的概率

\(S_1\) 是起始状态，即每层都至少有1个通道

因此，第k个状态（保留第k个通道）的边缘概率=之前所有转移概率的乘积，可以视为第k个通道的放大系数

前向过程中，每个通道的feature map 乘以该通道对应的边缘概率（放大系数）

因此可以通过对目标loss 和代价loss（FLOPs loss）的梯度下降，来end to end地优化不同层，不同通道的转移概率

优化完成后（即网络中每一层的转移概率/边缘概率可以抽样出符合FLOPs限制的网络了），进行采样子网络并从头开始训练

【DMCP】2020-CVPR-DMCP Differentiable Markov Channel Pruning for Neural Networks-论文阅读-LMLPHP

【DMCP】2020-CVPR-DMCP Differentiable Markov Channel Pruning for Neural Networks-论文阅读-LMLPHP

【DMCP】2020-CVPR-DMCP Differentiable Markov Channel Pruning for Neural Networks-论文阅读-LMLPHP

【DMCP】2020-CVPR-DMCP Differentiable Markov Channel Pruning for Neural Networks-论文阅读-LMLPHP

（\(p_k\) 是转移概率，\(p_{w1}\) 是边缘概率）

【DMCP】2020-CVPR-DMCP Differentiable Markov Channel Pruning for Neural Networks-论文阅读-LMLPHP

【DMCP】2020-CVPR-DMCP Differentiable Markov Channel Pruning for Neural Networks-论文阅读-LMLPHP

【CVPR 2020 Oral丨DMCP: 可微分的深度模型剪枝算法解读】https://zhuanlan.zhihu.com/p/146721840