python - Tensorflow多变量Logistic回归不起作用

我正在尝试创建一个程序，该程序使用Tensorflow将点分类为1或0。我正在尝试在此图的中心周围创建一个椭圆形，其中的蓝点是：

椭圆形中的所有内容均应归类为1，其他所有内容均应归类为0。在上图中，蓝色点是1，红色x是0。

但是，每次我尝试对一个点进行分类时，它总是选择1，即使这是我对其进行训练的一个点，说它是0。

我的问题很简单：为什么猜测总是1，我在做什么错或者应该采取其他措施解决此问题？这是我在没有教程的情况下尝试的第一个机器学习问题，因此我对这些东西真的不太了解。

感谢您提供的任何帮助，谢谢！

这是我的代码：

#!/usr/bin/env python3

import tensorflow as tf
import numpy
import matplotlib.pyplot as plt

training_in = numpy.array([[0, 0], [1, 1], [2, 0], [-2, 0], [-1, -1], [-1, 1], [-1.5, 1],   [3, 3], [3, 0], [-3, 0], [0, -3], [-1, 3], [1, -2], [-2, -1.5]])
training_out = numpy.array([1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0])

def transform_data(x):
    return [x[0], x[1], x[0]**2, x[1]**2, x[0]*x[1]]

new_training_in = numpy.apply_along_axis(transform_data, 1, training_in)

feature_count = new_training_in.shape[1]

x = tf.placeholder(tf.float32, [None, feature_count])
y = tf.placeholder(tf.float32, [None, 1])

W = tf.Variable(tf.zeros([feature_count, 1]))
b = tf.Variable(tf.zeros([1]))

guess = tf.nn.softmax(tf.matmul(x, W) + b)

cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(tf.matmul(x, W) + b, y))

opti = tf.train.GradientDescentOptimizer(0.01).minimize(cost)

init = tf.initialize_all_variables()
sess = tf.Session()
sess.run(init)

for i in range(1000):
    for (item_x, item_y) in zip(new_training_in, training_out):
        sess.run(opti, feed_dict={ x: [item_x], y: [[item_y]]})

print(sess.run(W))
print(sess.run(b))

plt.plot(training_in[:6, 0], training_in[:6, 1], 'bo')
plt.plot(training_in[6:, 0], training_in[6:, 1], 'rx')

results = sess.run(guess, feed_dict={ x: new_training_in })

for i in range(training_in.shape[0]):
    xx = [training_in[i:,0]]
    yy = [training_in[i:,1]]
    res = results[i]

    # this always prints `[ 1.]`
    print(res)

    # uncomment these lines to see the guesses
    # if res[0] == 0:
    #     plt.plot(xx, yy, 'c+')
    # else:
    #     plt.plot(xx, yy, 'g+')

plt.show()

最佳答案

当您使用softmax_cross_entropy_with_logits时，会发生此问题。在您的具体情况下，logits和labels都应具有形状[batch_size, number_of_labels=2]。

请注意，张量logits=tf.matmul(x, W) + b和labels=y的形状为[batch_size, 1]，因此Tensorflow假定为number_of_labels=1。这就是为什么您的猜测总是相同的原因。

A）您可以通过将training_out编码为单热点矢量来解决此问题。我建议使用np.eye()来实现：

training_out = [1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0]
training_out = numpy.eye(2)[training_out]

然后，您将需要进行以下更改：

y = tf.placeholder(tf.float32, [None, 2])
W = tf.Variable(tf.zeros([feature_count, 2]))
b = tf.Variable(tf.zeros([2]))
...
for i in range(1000):
    for (item_x, item_y) in zip(new_training_in, training_out):
        sess.run(opti, feed_dict={x: [item_x], y: [item_y]})
...
results = sess.run(guess, feed_dict={x: new_training_in})[:,1]

B）或者，您可以使用sparse_softmax_cross_entropy_with_logits，它允许labels具有形状[batch_size]。我已经对您的代码进行了调整，以使其以这种方式工作：

import tensorflow as tf
import numpy
import matplotlib.pyplot as plt

training_in = numpy.array(
    [[0, 0], [1, 1], [2, 0], [-2, 0], [-1, -1], [-1, 1], [-1.5, 1], [3, 3], [3, 0], [-3, 0], [0, -3], [-1, 3], [1, -2],
     [-2, -1.5]])
training_out = numpy.array([1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0])

def transform_data(x):
    return [x[0], x[1], x[0] ** 2, x[1] ** 2, x[0] * x[1]]

new_training_in = numpy.apply_along_axis(transform_data, 1, training_in)

feature_count = new_training_in.shape[1]

x = tf.placeholder(tf.float32, [None, feature_count])
y = tf.placeholder(tf.int32, [None])

W = tf.Variable(tf.zeros([feature_count, 2]))
b = tf.Variable(tf.zeros([2]))

guess = tf.nn.softmax(tf.matmul(x, W) + b)

cost = tf.reduce_mean(tf.nn.sparse_softmax_cross_entropy_with_logits(tf.matmul(x, W) + b, y))

opti = tf.train.GradientDescentOptimizer(0.01).minimize(cost)

init = tf.initialize_all_variables()
sess = tf.Session()
sess.run(init)

for i in range(1000):
    for (item_x, item_y) in zip(new_training_in, training_out):
        sess.run(opti, feed_dict={x: [item_x], y: [item_y]})

print(sess.run(W))
print(sess.run(b))

plt.plot(training_in[:6, 0], training_in[:6, 1], 'bo')
plt.plot(training_in[6:, 0], training_in[6:, 1], 'rx')

results = sess.run(guess, feed_dict={x: new_training_in})

for i in range(training_in.shape[0]):
    xx = [training_in[i:, 0]]
    yy = [training_in[i:, 1]]
    res = results[i]

    # this always prints `[ 1.]`
    print(res)

    # uncomment these lines to see the guesses
    if res[0] == 0:
        plt.plot(xx, yy, 'c+')
    else:
        plt.plot(xx, yy, 'g+')
plt.show()

关于python - Tensorflow多变量Logistic回归不起作用，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/39113871/