北京某智能公司【算法岗–深度学习】
时间：2024/9/3 下午3点 电话面试
只有一面！！
1. 激活函数的作用，或者说网络中没有激活函数会怎样
我回答的是，
推荐回答:
激活函数在神经网络中的作用非常重要，主要有以下几个方面：
2. 增大感受野，有哪些方式？
我回答的是： 有一种方式是增加网络深度，比如 通过卷积 和 池化操作
推荐回答：
在卷积神经网络（CNN）中，感受野（Receptive Field）指的是输出特征图上一个位置所对应的原始输入图像上的区域。增大感受野可以使网络能够捕捉到更大范围的上下文信息，从而提高模型在处理复杂图像任务中的表现。以下是几种增大感受野的常用方式：
- 直接使用更大的卷积核：例如，将卷积核从3x3增大到5x5或7x7。这样单层卷积的感受野就会增大，尽管会增加计算复杂度和参数量。
- 多层小卷积核堆叠：例如，使用两层3x3卷积代替一层5x5卷积。这不仅增大了感受野，还减少了参数量，并且引入了更多的非线性。
- 堆叠更多的卷积层：每增加一层卷积，感受野都会随之扩大。深层网络自然具有更大的感受野。
- 最大池化或平均池化：池化层（如2x2池化）会通过下采样操作成倍增加感受野。这是因为池化会减小特征图的尺寸，但同时也扩大了单个神经元对应的输入区域。
- 空洞卷积：通过在卷积核中插入空洞（间隔），在不增加参数数量的情况下增大感受野。空洞卷积允许卷积核“跳过”某些输入位置，从而显著扩大感受野。
- 跳跃连接：通过在网络中增加跳跃连接，将较低层的信息直接传递到更高层，使得网络可以更早地获得更多全局信息。这种结构虽然不是直接增大感受野，但可以更有效地利用已有的感受野。
- 全局平均池化：在最后的卷积层之后直接进行全局平均池化，将整个特征图进行平均操作，显然感受野覆盖了整个输入。这种操作通常用于分类任务中。
3. 1x 1 卷积核的作用？
我回答的是：
这个是可以控制一个卷积核的数量，可以通过1X1 卷积核，来进行一个升维或者是降维。
比如说，如果input的通道个数是3，卷积核个数为4，那么特征图的通道数就为4，达到了升维效果。 如果input的通道个数是3，卷积核个数为1，那么特征图的通道数就为1，达到了降维效果。
优势是： 在于 1x1卷积核 会使用更少的权重参数数量。
推荐回答： 推荐链接： https://blog.csdn.net/qq_27278957/article/details/120209780
推荐阅读： 深度学习 1x1卷积核的作用
1x1卷积核在卷积神经网络（CNN）中有着多种重要作用，尽管它表面上看起来简单，但却在许多深度学习模型中扮演着关键角色。以下是1x1卷积核的主要作用：
- 降维和升维
- 降维：1x1卷积核可以用来减少输入特征图的通道数（即减少深度），从而降低计算成本。这在处理高维度特征图时非常有用。通过1x1卷积，可以将高维度特征图压缩成低维度，同时保留空间信息。
- 升维：相反，1x1卷积也可以用来增加通道数，这在需要丰富特征表达的时候很有帮助。
- 跨通道信息混合
- 通道间的信息融合：1x1卷积可以看作是对输入特征图的每个像素点在不同通道上的线性组合，从而实现通道之间的信息混合。它能够学习通道之间的相互关系，而不会改变空间维度。
- 增加网络的非线性
- 非线性映射：当1x1卷积后跟随非线性激活函数（如ReLU）时，可以增加网络的非线性能力。这种操作在深度网络中非常常见，例如在ResNet和Inception等架构中。
- 特征选择
- 选择和加权特征：1x1卷积可以通过学习权重来选择和加权输入特征图中的某些重要特征，并忽略或抑制其他特征。这有助于提高模型的特征提取能力和效率。
- 减少计算复杂度
- 计算效率：相比于更大的卷积核（如3x3或5x5），1x1卷积的计算量非常小，但仍然能实现复杂的功能，如通道间的交互。因此，在某些网络结构中，使用1x1卷积可以有效地减少计算成本，同时不显著降低模型的表现。
实际应用中的例子：
- Inception模块：在Inception网络中，1x1卷积被广泛用于降维，以减小计算量，并为后续的3x3或5x5卷积核提供较低的输入通道数。
- ResNet：在ResNet中，1x1卷积用于调整维度，使得残差块中的输入和输出维度匹配。
综上所述，1x1卷积核虽然简单，但在深度学习中具有重要的功能，能够提升模型的效率和表现力。