1. model

这里待求解的是一个 binary logistic regression,它是一个分类模型,参数是权值矩阵 W 和偏置向量 b。该模型所要估计的是概率 P(Y=1|x),简记为 p,表示样本 x 属于类别 y=1 的概率:

P(Y=1|x(i))=p(i)=eWx(i)+b1+eWx(i)+b=11+e−Wx(i)−b

当然最终的目标是求解在整个样本集 D={(x(i),y(i)),0<i≤N} 的对数概率(关于 W和 b):

ℓ(W,b)=−1N∑iNy(i)logp(i)+(1−y(i))log(1−p(i))
  • 这里的取均值是为了解耦后续的正则化系数,以及 SGD 时的步长的选择;

当然也可对 W 进行二范数约束(F范数约束,全部项的平方和):

E(W,b)=ℓ(W,b)+0.01W2F

2. theano 的使用

实现 theano 下的最小化问题的求解,涉及如下的四个流程:

  • (1)声明符号变量;

    import numpy
    import theano.tensor as T
    from theano import shared, function x = T.matrix()
    y = T.lvector()
    w = shared(numpy.random.randn(100))
    b = shared(numpy.zeros(()))
    print 'step 1, initial mode: '
    print w.get_value(), b.get_value()
  • (2)使用这些变量构建符号表达式图(symbolic expression graph)


    # hypothesis p_1 = 1/(1+T.exp(-T.dot(x, w)-b))
    xent = -y*T.log(p_1)-(1-y)*T.log(1-p_1)
    cost = xent.mean() + 0.01*(w**2).sum()
    gw, gb = T.grad(cost, [w, b]);
    prediction = p_1 > .5
  • (3)编译 Theano functions;

    train = function(inputs=[x, y], outputs=[predication, xent], updates={w:w-0.1*gw, b:b-0.1*gb})
    
    predict = function(inputs=[x], outputs=predication)
  • (4)调用编译好的函数来执行数值计算;

    N = 4
    feats = 100
    D = (numpy.random.randn(N, feats), numpy.random.randi(low=0, high=2, size=(N,)))
    training_epochs = 10
    for _ in range(training_epochs):
    pred, err = train(D[0], D[1])
    print 'final model: '
    print 'target values for D', D[1]
    print 'predication on D', predict(D[0])
05-17 22:12