softmax回归解析及实战

中期总结

最近在工作中，涉及到多分类问题，原先采取的是逻辑回归策略进行求解，效果还算理想。主要存在以下几个问题：

1.训练的模型较多，one vs one 的策略结果稍微好一些，但是由于目前类别教多，700多个类，需要训练700*699 /2 = 244650个模型....太多了。所以采用 one vs rest 的策略进行训练，总共是700个模型。
2.类不平衡问题。
3.文本特征构建问题。

尝试解决

为了解决问题 1，尝试采用softmax回归解决。
softmax其实是Logistic的推广到多类别分类应用中，不必建立多个二分类分类器来实现多类别分类。softmax分类器的思想很简单，对于一个新的样本，softmax回归模型对于每一类都先计算出一个分数，然后通过softmax函数得出一个概率值，根据最终的概率值来确定属于哪一类。
具体原理及算法公式这里不做阐述。这里做下简单的算法实践。本文采用的是python版的tensorflow进行求解。

简单实战

数据导入

这里采用机器学习届的hello word 来进行实战。MNIST数字识别来进行实战。tensorflow 自带了这个数据集，这里先导入数据，并查看下数据的基本信息。

//导入相应的包
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

读入数据

mnist = input_data.read_data_sets("MNIST_data/",one_hot=True)

会有如下警告：
WARNING:tensorflow:From <ipython-input-4-758d29429358>:1: read_data_sets (from tensorflow.contrib.learn.python.learn.datasets.mnist) is deprecated and will be removed in a future version.
说是这个方法会在高版本的tf中移除～为啥版本更新连这种接口都要改变～呵呵。
训练数据观测：

print(mnist.train.images.shape)
print(mnist.train.labels.shape)
(55000, 784)
(55000, 10)

结果可以看出，数据集中有5500条数据，标签是一个10维的数组，分别表示0～9，例如：[0,0,0,0,0,0,1,0,0,0]表示数字6。因为这里的数据集是28*28的举证，所以训练特征，按一行展开得到784维的特征数据。
尝试统计每个类别的样本数据：

labels = pd.DataFrame(mnist.train.labels)
labels.apply(lambda x:x.sum())
0    5444.0
1    6179.0
2    5470.0
3    5638.0
4    5307.0
5    4987.0
6    5417.0
7    5715.0
8    5389.0
9    5454.0

这里我把每一列求和，即每列中1的个数，可以发现每个类的样本数大体是平衡的。毕竟是样本数据～～～～

模型训练

sess = tf.InteractiveSession()
#定义占位符
x = tf.placeholder(tf.float32,[None,784])
y_ = tf.placeholder(tf.float32,[None,10])
#初始化变量参数
W = tf.Variable(tf.zeros([784,10]))
b = tf.Variable(tf.zeros([10]))
#定义softmax函数
y = tf.nn.softmax(tf.matmul(x,W) + b)
#定义损失函数，这里采用交叉熵来定义，计算真实概率，与计算概率之间的交叉熵,交叉熵越小 ，表示越接近
loss = tf.reduce_mean(-tf.reduce_sum(y_*tf.log(y), reduction_indices=[1]))
#设置优化算法，这里采用梯度下降求解,学习率为0.5 ，一般会用指数衰减。
train_step = tf.train.GradientDescentOptimizer(0.5).minimize(loss)

定义训练样本格式，x，y_。
定义损失函数，这里采用交叉熵～
定义优化函数，这里采用梯度下降，学习率为0.5
开始训练：

#定义好各个步骤之后，接下来开始初始化设置的参数，
tf.global_variables_initializer().run()

#接下来开始训练参数，一般不会用全量数据做一次梯度下降做平均，随机梯度下降又不够准确，所以有以个批的概念 batch
#初始化参数
step = 10000
min_batch = 1000
for i in range(step):
    batch_x,batch_y = mnist.train.next_batch(min_batch)
    train_step.run({x:batch_x,y_:batch_y})

结果预测：

#计算准确率
correct = tf.equal(tf.argmax(y,1),tf.argmax(y_,1))
#bool 转化成数值类型，并求平均
accuracy = tf.reduce_mean(tf.cast(correct,tf.float32))
accuracy.eval({x:mnist.test.images,y_:mnist.test.labels})

0.9263

实际结果为92.63% 。
实验代码：链接:https://pan.baidu.com/s/1DubSlXYukoCdy7En_yn5zA 密码:u092

参考资料

softmax 原理 https://www.cnblogs.com/xubing-613/p/6537777.html

weixin_34184158