1. 网络轻量化相关技术
网络轻量化的相关技术分类：1. 网络剪枝(Network pruning) 2. 稀疏表示(Sparse representation) 3. Bits precision(低比特表示，比如不用浮点型，使用int量化) 4. Kownledge distillation(知识蒸馏)
2. 网络剪枝
神经网络一般都是over-parameterized,也就是说网络参数一般是冗余的，超过解决任务所需要的权重数，所以针对冗余的权重和神经元就可以被剪枝掉。
这种思想也可以从人类自身的成长得到启示，比如小孩在出生不久它的突触密度是比较稀疏的，到6岁左右突触就比较密集。而在成长过程中，那些密集的突触反而又会变得稀疏，比如14岁左右它相对于6岁而言突触变得洗刷，然而对于人的思维反而是有利的，可以认为在人类成长过程中突触之间学到了更多有用的知识。
2. 1 剪枝的类型
权重剪枝(weight pruning)
对于网络的剪枝再什么样的颗粒度进行剪枝呢？，最小的颗粒度就是weight pruning, 在下图示意图中，在全连接的神经元之间都有相应的权重，我们如果可以将