我阅读了一些有关卷积神经网络的论文，发现几乎所有的论文都将普通CNN中的完全连接的层称为“顶层”。
但是，如大多数论文所示，典型的CNN具有自顶向下的结构，而完全连接的层（通常后面跟一个softmax分类器）位于网络的底部。那么，为什么我们称它们为“顶层”？这是一种约定还是我不知道的其他注意事项？
最佳答案
我认为这只是一个品味问题，但是说“顶层”与神经网络中“头”的概念相关。人们说“分类头”和“回归头”表示神经网络的输出层（该术语在tf.estimator.Estimator中使用，另请参见here和here的一些讨论）。如果以这种方式看到，则位于头部前面的图层是顶部，而输入图层则是底部。无论如何，当它们被称为“顶层”时，您应该仔细检查特定的含义。