FLOPS:注意全大写,是floating point operations per second的缩写,意指每秒浮点运算次数,理解为计算速度。是一个衡量硬件性能的指标。

FLOPs:注意s小写,是floating point operations的缩写(s表复数),意指浮点运算数,理解为计算量。可以用来衡量算法/模型的复杂度。

网上打字很容易全小写,造成混淆,本问题针对模型,应指的是FLOPs。

以下答案不考虑activation function的运算。

卷积层:(转载)CNN 模型所需的计算力(FLOPs)和参数(parameters)数量计算-LMLPHP

Ci=input channel, k=kernel size, HW=output feature map size, Co=output channel.

2是因为一个MAC算2个operations。

不考虑bias时有-1,有bias时没有-1。

上面针对一个input feature map,没考虑batch size。

理解上面这个公式分两步,括号内是第一步,计算出output feature map的一个pixel,然后再乘以HWCo拓展到整个output feature map。括号内的部分又可以分为两步, (转载)CNN 模型所需的计算力(FLOPs)和参数(parameters)数量计算-LMLPHP ,第一项是乘法运算数,第二项是加法运算数,因为n个数相加,要加n-1次,所以不考虑bias,会有一个-1,如果考虑bias,刚好中和掉,括号内变为 (转载)CNN 模型所需的计算力(FLOPs)和参数(parameters)数量计算-LMLPHP

全联接层: (转载)CNN 模型所需的计算力(FLOPs)和参数(parameters)数量计算-LMLPHP

I=input neuron numbers, O=output neuron numbers.

2是因为一个MAC算2个operations。

不考虑bias时有-1,有bias时没有-1。

分析同理,括号内是一个输出神经元的计算量,拓展到O了输出神经元。

参考:chen liu

对于一个卷积层,假设其大小为 (转载)CNN 模型所需的计算力(FLOPs)和参数(parameters)数量计算-LMLPHP (其中c为#input channel, n为#output channel),输出的feature map尺寸为 (转载)CNN 模型所需的计算力(FLOPs)和参数(parameters)数量计算-LMLPHP ,则该卷积层的

  • #paras = (转载)CNN 模型所需的计算力(FLOPs)和参数(parameters)数量计算-LMLPHP
  • #FLOPS= (转载)CNN 模型所需的计算力(FLOPs)和参数(parameters)数量计算-LMLPHP

即#FLOPS= (转载)CNN 模型所需的计算力(FLOPs)和参数(parameters)数量计算-LMLPHP #paras

参考:李珂

Model_size = 4*params  模型大小为参数量的4倍

附:Pytorch计算FLOPs的代码:

http://link.zhihu.com/?target=https%3A//github.com/Lyken17/pytorch-OpCounter

https://github.com/sovrasov/flops-counter.pytorch

神器(pytorch):

pytorch-OpCounter 用法:(pytorch版本>=1.0)

from torchvision.models import resnet50
from thop import profile
model = resnet50()
flops, params = profile(model, input_size=(1, 3, 224,224))

torchstat 用法:

from torchstat import stat
import torchvision.models as models model = model.alexnet()
stat(model, (3, 224, 224))

flopth 用法:

from flopth import flopth
print(flopth(net, in_size=[3,112,112]))

ptflops用法:

from ptflops import get_model_complexity_info
flops, params = get_model_complexity_info(net, (3, 224, 224), as_strings=True, print_per_layer_stat=True)
print('Flops: ' + flops)
print('Params: ' + params)

自己计算参数量:

print('Total params: %.2fM' % (sum(p.numel() for p in net.parameters())/1000000.0))

需要注意的是:params只与你定义的网络结构有关,和forward的任何操作无关。即定义好了网络结构,参数就已经决定了。FLOPs和不同的层运算结构有关。如果forward时在同一层(同一名字命名的层)多次运算,FLOPs不会增加。

参考:

轻量级神经网络“巡礼”(一)—— ShuffleNetV2

05-11 11:22