机器学习之分类

分类任务和回归任务的不同之处在于，分类任务需要做出离散的预测。对于多分类任务的神经网络模型，其输出目标通常会用one-hot编码来表示，在输出层中使用softmax函数，同时使用分类交叉熵损失函数进行训练。在本博客中，我们将使用TensorFlow的底层API实现一个基于全连接层的神经网络来进行MNIST数字图像分类。下面是涉及到的相关概念：

深度学习是一种机器学习方法，它通过多层神经网络层次化地提取特征，以解决各种复杂的分类和回归问题。

神经网络是深度学习的基本组成部分，由多个层次化的神经元组成。输入层接受数据，中间的隐藏层通过权重和激活函数处理数据，最终输出层产生分类结果。在这个示例中，我们将手动实现神经网络的核心组件。

前向传播是神经网络中的信息传递过程，从输入层到输出层，每一层的神经元根据权重和激活函数计算输出。这个过程将输入数据映射到预测输出。

反向传播是训练神经网络的关键步骤，它通过计算预测与真实标签之间的误差，并将误差反向传播到网络中的每一层来更新权重，以最小化误差。

内容大纲

神经网络核心组件的实现
数据加载处理
构建训练模型
总结

神经网络核心组件的实现

以下代码分别实现了密集层DenseLayer，网络模型SequentialModel，批次生成器BatchGenerator，批次权重更新one_training_step 以及训练函数fit。

from keras.datasets import mnist
import math
import tensorflow as tf
import numpy as np

class DenseLayer:  # 简单的Dense类
    def __init__(self, input_size, output_size, activation):
        self.activation = activation

        w_shape = (input_size, output_size)  # 创建一个形状为(input_size, output_size)的矩阵W，并将其随机初始化
        w_initial_value = tf.random.uniform(w_shape, minval=0, maxval=1e-1)
        self.W = tf.Variable(w_initial_value)

        b_shape = (output_size,)  # 创建一个形状为(output_size,)的零向量b
        b_initial_value = tf.zeros(b_shape)
        self.b = tf.Variable(b_initial_value)

    def __call__(self, inputs):  # 前向传播
        return self.activation(tf.matmul(inputs, self.W) + self.b)

    @property
    def weights(self):  # 获取该层权重
        return [self.W, self.b]


class SequentialModel:  # 简单的Sequential类
    def __init__(self, layers):
        self.layers = layers

    def __call__(self, inputs):
        x = inputs
        for layer in self.layers:
            x = layer(x)
        return x

    @property
    def weights(self):
        weights = []
        for layer in self.layers:
            weights += layer.weights
        return weights



class BatchGenerator:  # 批量生成器
    def __init__(self, images, labels, batch_size=128):
        assert len(images) == len(labels)
        self.index = 0
        self.images = images
        self.labels = labels
        self.batch_size = batch_size
        self.num_batches = math.ceil(len(images) / batch_size)

    def next(self):
        images = self.images[self.index: self.index + self.batch_size]
        labels = self.labels[self.index: self.index + self.batch_size]
        self.index += self.batch_size
        return images, labels


# 更新参数
learning_rate = 1e-3 # 学习率
def update_weights(gradients, weights):
    for g, w in zip(gradients, weights):
        w.assign_sub(g * learning_rate)  # assign_sub相当于TensorFlow变量的-=

# 计算梯度，并更新权重
def one_training_step(model, images_batch, labels_batch):
    with tf.GradientTape() as tape:  # 运行前向传播，即在GradientTape作用域内计算模型预测值
        predictions = model(images_batch)
        # 标签编码为整数，使用sparse_categorical_crossentropy损失函数
        per_sample_losses = tf.keras.losses.sparse_categorical_crossentropy(labels_batch, predictions)
        average_loss = tf.reduce_mean(per_sample_losses)
    gradients = tape.gradient(average_loss, model.weights)  # 计算损失相对于权重的梯度。输出gradients是一个列表，每个元素对应model.weights列表中的权重
    update_weights(gradients, model.weights)  # 利用梯度来更新权重
    return average_loss


# 完整的训练循环
def fit(model, images, labels, epochs, batch_size=128):
    for epoch_counter in range(epochs):
        print(f"Epoch {epoch_counter}")
        batch_generator = BatchGenerator(images, labels)
        for batch_counter in range(batch_generator.num_batches):
            images_batch, labels_batch = batch_generator.next()
            loss = one_training_step(model, images_batch, labels_batch)
            if batch_counter % 100 == 0:
                print(f"loss at batch {batch_counter}: {loss:.2f}")

数据加载处理

首先，我们需要准备数据。MNIST数据集包含手写数字图像，每个图像是28x28像素的灰度图像，总共有10个类别（0到9）。

# 加载MNIST数据集
(train_images, train_labels), (test_images, test_labels) = mnist.load_data()

# 归一化像素值到0到1之间
train_images = train_images.reshape((60000, 28 * 28)).astype("float32") / 255
test_images = test_images.reshape((10000, 28 * 28)).astype("float32") / 255

构建训练模型

接下来，我们将使用DenseLayer 和 SequentialModel 类构建一个两层的全连接神经网络模型。

# 利用这个DenseLayer类和SequentialModel类，创建一个与Keras类似的模型
model = SequentialModel([
    DenseLayer(input_size=28 * 28, output_size=512, activation=tf.nn.relu),# 全连接层，512个单元，ReLU激活函数
    DenseLayer(input_size=512, output_size=10, activation=tf.nn.softmax) # 输出层，10个输出单元对应0-9的数字，使用softmax激活函数
])

现在，我们将使用手动实现的神经网络模型来进行训练。

# 开始训练
fit(model, train_images, train_labels, epochs=10, batch_size=128)

# 预测结果准确率
predictions = model(test_images).numpy()
predicted_labels = np.argmax(predictions, axis=1)
matches = predicted_labels == test_labels
print(f"accuracy: {matches.mean():.2f}")

总结

在本博客中，我们使用TensorFlow的底层API手动实现了一个基于全连接层的神经网络模型，并将其应用于MNIST数字图像分类。我们涵盖了深度学习分类的基本原理，包括神经网络、前向传播和反向传播。通过适当的数据处理、模型构建、训练和预测，我们成功地分类了手写数字图像，这是深度学习在计算机视觉中的一个典型应用。希望本文能帮助你了解深度学习分类的基本流程和实现细节。通过底层API的实现，你可以更深入地理解深度学习模型的内部工作原理。

Jeff.Zhong