PyTorch 全连接层（Fully Connected Layer）详解

全连接层（Fully Connected Layer），也被称为密集层（Dense Layer）或线性层（Linear Layer），是神经网络中最基本也是最重要的层之一。它在各种神经网络模型中扮演着关键角色，广泛应用于图像分类、文本处理、回归分析等各类任务中。本文将详细介绍全连接层的基本概念、PyTorch中的实现、输入和输出维度的变化、主要解决的问题以及最典型的应用场景。

基本概念

在全连接层中，每一个输入节点与输出节点之间都存在连接。假设有一个输入向量 x \mathbf{x} x 和一个输出向量 y \mathbf{y} y，全连接层的计算过程可以表示为：

y = W x + b \mathbf{y} = \mathbf{W} \mathbf{x} + \mathbf{b} y=Wx+b

其中：

• W \mathbf{W} W 是权重矩阵，包含了所有连接的权重。
• b \mathbf{b} b 是偏置向量，通常用于调整输出的线性变换。

权重矩阵 W \mathbf{W} W：

• 权重矩阵 W \mathbf{W} W 的维度为 D o u t × D i n D_{out} \times D_{in} Dout​×Din​，其中 D i n D_{in} Din​ 是输入特征的数量， D o u t D_{out} Dout​ 是输出特征的数量。
• 每个元素 W i j W_{ij} Wij​ 表示输入特征 x j x_j xj​ 对输出特征 y i y_i yi​ 的影响程度。
• 在训练过程中，权重矩阵 W \mathbf{W} W 是通过反向传播算法进行更新的，目标是最小化损失函数，使得模型的预测结果尽可能接近真实值。

偏置向量 b \mathbf{b} b：

• 偏置向量 b \mathbf{b} b 的维度为 D o u t D_{out} Dout​。
• 每个元素 b i b_i bi​ 用于调整输出特征 y i y_i yi​ 的线性变换，确保模型具有更好的拟合能力。
• 偏置项的引入可以帮助模型更好地适应数据的分布，尤其是在输入特征为零时，偏置项可以提供非零的输出。

全连接层通过线性变换和非线性激活函数，对输入特征进行变换和抽象，提取更高层次、更有代表性的特征。

PyTorch 中的 nn.Linear

在PyTorch中，nn.Linear 是一个用于创建全连接层的类。它的构造函数如下：

class torch.nn.Linear(in_features, out_features, bias=True)

参数说明

• in_features: 输入特征的数量，即输入向量的维度。
• out_features: 输出特征的数量，即输出向量的维度。
• bias（可选，默认为True）：是否包含偏置项 b \mathbf{b} b。

示例

以下是一个简单的示例，展示了如何在PyTorch中使用 nn.Linear 来创建和使用全连接层。

import torch
import torch.nn as nn

# 定义输入和输出的维度
input_dim = 4
output_dim = 2

# 创建一个全连接层
fc_layer = nn.Linear(input_dim, output_dim)

# 打印初始化的权重和偏置
print("Initial weights:", fc_layer.weight)
print("Initial bias:", fc_layer.bias)

# 创建一个输入向量
input_vector = torch.randn(1, input_dim)

# 通过全连接层计算输出
output_vector = fc_layer(input_vector)

print("Input vector:", input_vector)
print("Output vector:", output_vector)

输出结果

以下是对输出结果的详细解释：

权重矩阵和偏置向量

首先，让我们查看初始化的权重矩阵 W \mathbf{W} W 和偏置向量 b \mathbf{b} b：

Initial weights: Parameter containing:
tensor([[ 0.1385, -0.3149, -0.2930, -0.1360],
        [-0.4598,  0.4449,  0.2633,  0.2245]], requires_grad=True)
Initial bias: Parameter containing:
tensor([-0.0132, -0.4703], requires_grad=True)

• 权重矩阵 W \mathbf{W} W 的形状是 2 × 4 2 \times 4 2×4，表示有两个输出特征（每个输出特征对应一行），四个输入特征（每个输入特征对应一列）。
• 偏置向量 b \mathbf{b} b 的形状是 2 2 2，表示每个输出特征有一个偏置。

输入向量

输入向量 x \mathbf{x} x 如下：

Input vector: tensor([[ 0.6784, -0.5674, -0.5408, -0.0243]])

• 输入向量 x \mathbf{x} x 的形状是 1 × 4 1 \times 4 1×4，表示一个样本（批大小为1），包含四个特征。

输出向量

输出向量 y \mathbf{y} y 如下：

Output vector: tensor([[ 0.4212, -1.1824]], grad_fn=<AddmmBackward0>)

• 输出向量 y \mathbf{y} y 的形状是 1 × 2 1 \times 2 1×2，表示一个样本（批大小为1），包含两个输出特征。

计算过程解析

全连接层的计算过程可以表示为：

y = W x + b \mathbf{y} = \mathbf{W} \mathbf{x} + \mathbf{b} y=Wx+b

让我们逐步计算：

1. 矩阵乘法 W x \mathbf{W} \mathbf{x} Wx：
   • 首先将权重矩阵 W \mathbf{W} W 与输入向量 x \mathbf{x} x 相乘。

W = [ 0.1385 − 0.3149 − 0.2930 − 0.1360 − 0.4598 0.4449 0.2633 0.2245 ] \mathbf{W} = \begin{bmatrix} 0.1385 & -0.3149 & -0.2930 & -0.1360 \\ -0.4598 & 0.4449 & 0.2633 & 0.2245 \end{bmatrix} W=[0.1385−0.4598​−0.31490.4449​−0.29300.2633​−0.13600.2245​]

x = [ 0.6784 − 0.5674 − 0.5408 − 0.0243 ] \mathbf{x} = \begin{bmatrix} 0.6784 \\ -0.5674 \\ -0.5408 \\ -0.0243 \end{bmatrix} x= ​0.6784−0.5674−0.5408−0.0243​ ​

计算：

W x = [ 0.1385 × 0.6784 + ( − 0.3149 ) × ( − 0.5674 ) + ( − 0.2930 ) × ( − 0.5408 ) + ( − 0.1360 ) × ( − 0.0243 ) − 0.4598 × 0.6784 + 0.4449 × ( − 0.5674 ) + 0.2633 × ( − 0.5408 ) + 0.2245 × ( − 0.0243 ) ] \mathbf{W} \mathbf{x} = \begin{bmatrix} 0.1385 \times 0.6784 + (-0.3149) \times (-0.5674) + (-0.2930) \times (-0.5408) + (-0.1360) \times (-0.0243) \\ -0.4598 \times 0.6784 + 0.4449 \times (-0.5674) + 0.2633 \times (-0.5408) + 0.2245 \times (-0.0243) \end{bmatrix} Wx=[0.1385×0.6784+(−0.3149)×(−0.5674)+(−0.2930)×(−0.5408)+(−0.1360)×(−0.0243)−0.4598×0.6784+0.4449×(−0.5674)+0.2633×(−0.5408)+0.2245×(−0.0243)​]

计算结果：

W x = [ 0.4344 − 0.7121 ] \mathbf{W} \mathbf{x} = \begin{bmatrix} 0.4344 \\ -0.7121 \end{bmatrix} Wx=[0.4344−0.7121​]

1. 加上偏置向量 b \mathbf{b} b：

b = [ − 0.0132 − 0.4703 ] \mathbf{b} = \begin{bmatrix} -0.0132 \\ -0.4703 \end{bmatrix} b=[−0.0132−0.4703​]

加上偏置项：

y = W x + b = [ 0.4344 − 0.0132 − 0.7121 − 0.4703 ] = [ 0.4212 − 1.1824 ] \mathbf{y} = \mathbf{W} \mathbf{x} + \mathbf{b} = \begin{bmatrix} 0.4344 - 0.0132 \\ -0.7121 - 0.4703 \end{bmatrix} = \begin{bmatrix} 0.4212 \\ -1.1824 \end{bmatrix} y=Wx+b=[0.4344−0.0132−0.7121−0.4703​]=[0.4212−1.1824​]

这与输出向量 y \mathbf{y} y 的结果完全一致：

Output vector: tensor([[ 0.4212, -1.1824]], grad_fn=<AddmmBackward0>)

维度变化

torch.nn.Linear 的输入和输出维度是通过权重矩阵 W \mathbf{W} W 和偏置向量 b \mathbf{b} b 进行线性变换的结果。理解这些维度变化对构建和调试神经网络模型非常重要。

1. 输入维度：

   • 输入可以是一个二维张量（矩阵），其形状为 (N, D_in)，其中 N 是批量大小（batch size），D_in 是输入特征的数量。
   • 输入也可以是一个一维张量（向量），其形状为 (D_in,)，即单个样本的输入。

2. 输出维度：

   • 对于二维输入张量，输出将是一个二维张量，其形状为 (N, D_out)，其中 D_out 是输出特征的数量。
   • 对于一维输入张量，输出将是一个一维张量，其形状为 (D_out,)。

示例

以下是一个具体的示例，展示了如何使用 nn.Linear 以及输入和输出的维度变化。

import torch
import torch.nn as nn

# 定义输入和输出的特征维度
input_dim = 4
output_dim = 2

# 创建一个全连接层
fc_layer = nn.Linear(input_dim, output_dim)

# 打印初始化的权重和偏置
print("Initial weights:", fc_layer.weight)
print("Initial bias:", fc_layer.bias)

# 创建一个输入向量（单个样本）
input_vector = torch.randn(input_dim)
print("Input vector shape:", input_vector.shape)

# 通过全连接层计算输出
output_vector = fc_layer(input_vector)
print("Output vector shape:", output_vector.shape)

# 创建一个输入矩阵（批量样本）
input_matrix = torch.randn(3, input_dim)
print("Input matrix shape:", input_matrix.shape)

# 通过全连接层计算输出
output_matrix = fc_layer(input_matrix)
print("Output matrix shape:", output_matrix.shape)

权重矩阵和偏置向量

首先，让我们查看初始化的权重矩阵 W \mathbf{W} W 和偏置向量 b \mathbf{b} b：

Initial weights: Parameter containing:
tensor([[-0.4161,  0.2601, -0.1442,  0.3651],
        [-0.0647, -0.0513, -0.2093,  0.4139]], requires_grad=True)
Initial bias: Parameter containing:
tensor([-0.2859,  0.0982], requires_grad=True)

• 权重矩阵 W \mathbf{W} W 的形状是 2 × 4 2 \times 4 2×4，表示有两个输出特征（每个输出特征对应一行），四个输入特征（每个输入特征对应一列）。
• 偏置向量 b \mathbf{b} b 的形状是 2 2 2，表示每个输出特征有一个偏置。

输入向量和输出向量

单个样本输入

输入向量 x \mathbf{x} x 的形状为 4 4 4：

Input vector shape: torch.Size([4])

输出向量 y \mathbf{y} y 的形状为 2 2 2：

Output vector shape: torch.Size([2])

输入矩阵和输出矩阵

批量样本输入

输入矩阵 X \mathbf{X} X 的形状为 3 × 4 3 \times 4 3×4：

Input matrix shape: torch.Size([3, 4])

输出矩阵 Y \mathbf{Y} Y 的形状为 3 × 2 3 \times 2 3×2：

Output matrix shape: torch.Size([3, 2])

计算过程解析

全连接层的计算过程可以表示为：

y = W x + b \mathbf{y} = \mathbf{W} \mathbf{x} + \mathbf{b} y=Wx+b

让我们逐步计算：

1. 矩阵乘法 W x \mathbf{W} \mathbf{x} Wx：
   • 首先将权重矩阵 W \mathbf{W} W 与输入向量 x \mathbf{x} x 相乘。

W = [ W 11 W 12 W 13 W 14 W 21 W 22 W 23 W 24 ] \mathbf{W} = \begin{bmatrix} W_{11} & W_{12} & W_{13} & W_{14} \\ W_{21} & W_{22} & W_{23} & W_{24} \end{bmatrix} W=[W11​W21​​W12​W22​​W13​W23​​W14​W24​​]

假设输入向量 x \mathbf{x} x 是：

x = [ x 1 x 2 x 3 x 4 ] \mathbf{x} = \begin{bmatrix} x_1 \\ x_2 \\ x_3 \\ x_4 \end{bmatrix} x= ​x1​x2​x3​x4​​ ​

计算：

W x = [ W 11 × x 1 + W 12 × x 2 + W 13 × x 3 + W 14 × x 4 W 21 × x 1 + W 22 × x 2 + W 23 × x 3 + W 24 × x 4 ] \mathbf{W} \mathbf{x} = \begin{bmatrix} W_{11} \times x_1 + W_{12} \times x_2 + W_{13} \times x_3 + W_{14} \times x_4 \\ W_{21} \times x_1 + W_{22} \times x_2 + W_{23} \times x_3 + W_{24} \times x_4 \end{bmatrix} Wx=[W11​×x1​+W12​×x2​+W13​×x3​+W14​×x4​W21​×x1​+W22​×x2​+W23​×x3​+W24​×x4​​]

1. 加上偏置向量 b \mathbf{b} b：

b = [ b 1 b 2 ] \mathbf{b} = \begin{bmatrix} b_1 \\ b_2 \end{bmatrix} b=[b1​b2​​]

加上偏置项：

y = W x + b = [ W 11 × x 1 + W 12 × x 2 + W 13 × x 3 + W 14 × x 4 + b 1 W 21 × x 1 + W 22 × x 2 + W 23 × x 3 + W 24 × x 4 + b 2 ] \mathbf{y} = \mathbf{W} \mathbf{x} + \mathbf{b} = \begin{bmatrix} W_{11} \times x_1 + W_{12} \times x_2 + W_{13} \times x_3 + W_{14} \times x_4 + b_1 \\ W_{21} \times x_1 + W_{22} \times x_2 + W_{23} \times x_3 + W_{24} \times x_4 + b_2 \end{bmatrix} y=Wx+b=[W11​×x1​+W12​×x2​+W13​×x3​+W14​×x4​+b1​W21​×x1​+W22​×x2​+W23​×x3​+W24​×x4​+b2​​]

批量输入的计算过程

对于批量输入，输入矩阵 X \mathbf{X} X 是 3 × 4 3 \times 4 3×4，对应的输出矩阵 Y \mathbf{Y} Y 是 3 × 2 3 \times 2 3×2。计算过程与单个样本类似，只是需要对每个样本进行计算。

假设输入矩阵 X \mathbf{X} X 是：

X = [ x 11 x 12 x 13 x 14 x 21 x 22 x 23 x 24 x 31 x 32 x 33 x 34 ] \mathbf{X} = \begin{bmatrix} x_{11} & x_{12} & x_{13} & x_{14} \\ x_{21} & x_{22} & x_{23} & x_{24} \\ x_{31} & x_{32} & x_{33} & x_{34} \end{bmatrix} X= ​x11​x21​x31​​x12​x22​x32​​x13​x23​x33​​x14​x24​x34​​ ​

权重矩阵 W \mathbf{W} W 和偏置向量 b \mathbf{b} b 如前所述。

计算：

Y = X W T + b = [ x 11 x 12 x 13 x 14 x 21 x 22 x 23 x 24 x 31 x 32 x 33 x 34 ] [ W 11 W 21 W 12 W 22 W 13 W 23 W 14 W 24 ] + [ b 1 b 2 ] \mathbf{Y} = \mathbf{X} \mathbf{W}^T + \mathbf{b} = \begin{bmatrix} x_{11} & x_{12} & x_{13} & x_{14} \\ x_{21} & x_{22} & x_{23} & x_{24} \\ x_{31} & x_{32} & x_{33} & x_{34} \end{bmatrix} \begin{bmatrix} W_{11} & W_{21} \\ W_{12} & W_{22} \\ W_{13} & W_{23} \\ W_{14} & W_{24} \end{bmatrix} +\begin{bmatrix} b_1 \\ b_2 \end{bmatrix} Y=XWT+b= ​x11​x21​x31​​x12​x22​x32​​x13​x23​x33​​x14​x24​x34​​ ​ ​W11​W12​W13​W14​​W21​W22​W23​W24​​ ​+[b1​b2​​]

逐行计算，可以得到输出矩阵 Y \mathbf{Y} Y。

训练过程中的权重和偏置的优化

在训练过程中，权重矩阵 W \mathbf{W} W 和偏置向量 b \mathbf{b} b 是通过反向传播算法进行更新的。反向传播算法通过以下步骤优化这些参数：

1. 前向传播：计算模型的预测输出。
2. 计算损失：使用损失函数衡量模型预测值与真实值之间的差异。
3. 反向传播：计算损失函数相对于每个参数的梯度。
4. 参数更新：根据梯度信息，使用优化器（如SGD、Adam等）更新权重矩阵 W \mathbf{W} W 和偏置向量 b \mathbf{b} b。

通过多次迭代和参数更新，模型的预测性能会逐步提高，最终收敛到一个使损失函数最小化的状态。

总结

全连接层是神经网络中非常重要的组成部分，广泛应用于各种任务中。通过 nn.Linear，PyTorch提供了一个简单而高效的方式来创建和使用全连接层。理解全连接层的工作原理和应用场景，对于构建和优化神经网络模型至关重要。全连接层主要用于特征变换、模式识别、分类和回归问题，广泛应用于图像分类、文本处理、回归分析等领域。理解这些基本概念和实际应用，将有助于更好地设计和优化神经网络模型。

在训练神经网络模型时，权重矩阵 W \mathbf{W} W 和偏置向量 b \mathbf{b} b 是通过反向传播算法进行更新的。反向传播算法通过计算损失函数相对于每个参数的梯度，指导参数的更新方向和步长，从而逐步优化模型的性能。具体来说，损失函数衡量了模型预测值与真实值之间的差异，优化的目标是最小化这个差异。

权重矩阵和偏置向量的优化过程是神经网络训练的核心。通过多次迭代和调整，这些参数会逐渐收敛到一个使模型性能最优的状态。因此，理解和掌握全连接层的权重和偏置更新机制，对于构建高效、准确的神经网络模型至关重要。

全连接层（Fully Connected Layer）是神经网络中最基本和广泛使用的一种层类型，主要用于以下几个方面：

全连接层最典型的应用

1. 图像分类：
   • 在卷积神经网络（CNN）中，全连接层通常用于网络的最后几层，将卷积层提取到的特征映射到各个类别上。例如，在经典的LeNet、AlexNet、VGG、ResNet等模型中，全连接层都是不可或缺的一部分。

import torch
import torch.nn as nn

class SimpleCNN(nn.Module):
    def __init__(self, num_classes=10):
        super(SimpleCNN, self).__init__()
        self.conv1 = nn.Conv2d(3, 16, kernel_size=3, padding=1)
        self.conv2 = nn.Conv2d(16, 32, kernel_size=3, padding=1)
        self.pool = nn.MaxPool2d(kernel_size=2, stride=2, padding=0)
        self.fc1 = nn.Linear(32 * 8 * 8, 128)
        self.fc2 = nn.Linear(128, num_classes)

    def forward(self, x):
        x = self.pool(F.relu(self.conv1(x)))
        x = self.pool(F.relu(self.conv2(x)))
        x = x.view(-1, 32 * 8 * 8)  # Flatten the tensor
        x = F.relu(self.fc1(x))
        x = self.fc2(x)
        return x

model = SimpleCNN(num_classes=10)

1. 文本分类：
   • 在自然语言处理（NLP）任务中，全连接层常用于将文本表示（如RNN或Transformer输出的特征）映射到类别标签上。例如，情感分析、主题分类等任务。

import torch
import torch.nn as nn

class SimpleRNN(nn.Module):
    def __init__(self, input_size, hidden_size, num_classes):
        super(SimpleRNN, self).__init__()
        self.rnn = nn.RNN(input_size, hidden_size, batch_first=True)
        self.fc = nn.Linear(hidden_size, num_classes)

    def forward(self, x):
        h0 = torch.zeros(1, x.size(0), hidden_size).to(x.device)
        out, _ = self.rnn(x, h0)
        out = out[:, -1, :]  # Take the last hidden state
        out = self.fc(out)
        return out

model = SimpleRNN(input_size=300, hidden_size=128, num_classes=2)

1. 回归任务：
   • 在预测连续值的任务中，如房价预测、股票价格预测等，全连接层能够将输入特征映射到目标值。

import torch
import torch.nn as nn

class SimpleRegression(nn.Module):
    def __init__(self, input_size, output_size):
        super(SimpleRegression, self).__init__()
        self.fc1 = nn.Linear(input_size, 64)
        self.fc2 = nn.Linear(64, output_size)

    def forward(self, x):
        x = F.relu(self.fc1(x))
        x = self.fc2(x)
        return x

model = SimpleRegression(input_size=10, output_size=1)

1. 多层感知器（MLP）：
   • 多层感知器是最基础的神经网络结构之一，主要由多个全连接层组成。它适用于各种任务，包括分类、回归等。

import torch
import torch.nn as nn

class MLP(nn.Module):
    def __init__(self, input_size, hidden_size, output_size):
        super(MLP, self).__init__()
        self.fc1 = nn.Linear(input_size, hidden_size)
        self.fc2 = nn.Linear(hidden_size, output_size)

    def forward(self, x):
        x = F.relu(self.fc1(x))
        x = self.fc2(x)
        return x

model = MLP(input_size=20, hidden_size=64, output_size=3)

总结

全连接层是神经网络中非常重要的组成部分，广泛应用于各种任务中。它主要用于特征变换、模式识别、分类和回归问题。理解全连接层的工作原理和应用场景，对于构建和优化神经网络模型至关重要。

PyTorch概述
Pytorch ：张量（Tensor）详解
PyTorch 卷积层详解