在论文《SQUEEZENET: ALEXNET-LEVEL ACCURACY WITH 50X FEWER PARAMETERS AND <0.5MB MODEL SIZE》中,作者对模型进行压缩的核心我感觉就是利用许多的Fire Module模块来替代原来的conv+pool
其中所谓的“Fire Module”就是一种专门设计的结构,具体而言是由两部分构成:sequeeze以及后面连接的enpand两部分,其中的sequeeze部分是卷积核为1*1的卷积层,后面的expand部分是由1*1以及3*3的两个卷积层共同构成的;
经过这个Fire Module之后,再进行concat操作,然后继续经过后续的Fire Module层,直到最后,SequeezNet感觉就是一直经过这样的Fire Module以及Pool层共同构成的,再加上最后的loss层,根据作者论文中的叙述,这种设计形式可以折中检测的正确率,并且能够使模型减小。
然后附上两幅图: