家乐的深度学习笔记「4」 - softmax回归

目录

• softmax回归
  • 分类问题
  • softmax回归模型
    • softmax运算
  • 矢量表达式
    • 单样本分类的矢量计算表达式
    • 小批量样本分类的矢量计算表达式
  • 交叉熵损失函数
  • 模型预测及评价
• 图像分类数据集（Fashion-MNIST）
  • 获取数据集
    • 必要的包
    • 训练与测试数据集
    • 训练数据集样本数
  • 查看样本
    • 获取标签
    • 画出图像
    • 读取小批量
  • 全部代码
• softmax回归的从零实现
  • 必要的包
  • 读取数据集
  • 初始化模型参数
  • 实现softmax运算
  • 定义模型
  • 定义损失函数
  • 计算分类准确率
  • 训练模型
  • 预测效果
  • 全部代码
• softmax简洁实现
  • 必要的包
  • 读取数据集
  • 定义和初始化模型
  • softmax和交叉熵损失函数
  • 训练模型
  • 全部代码
• 另：Batch_size的选择
• 参考资料

softmax回归

线性回归模型适用于输出为连续值的情景，而softmax回归的输出单元由一个变成了多个，且引入了softmax运算输出类别的概率分布，使输出更适合离散值的预测与训练，模型输出可以是一个像图像类别这样的离散值，其是一个单层神经网络，输出个数等于分类问题中的类别个数。

分类问题

考虑一个简单的图像分类问题，其输入图像的宽和高均为2像素，且色彩为灰度。这样每个像素值都可以用一个标量表示。将图像中的4像素分别记为，假设训练数据集中图像的真实标签为