TensorFlow非线性拟合

1、心得： 在使用TensorFlow做非线性拟合的时候注意的一点就是输出层不能使用激活函数，这样就会把整个区间映射到激活函数的值域范围内无法收敛。

# coding:utf-8

import tensorflow as tf

import numpy as np

import matplotlib.pyplot as plt

import os

os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

# 准备需要拟合的数据点

x_data = np.arange(-2*np.pi,2*np.pi,0.1).reshape(-1,1)

y_data = np.sin(x_data).reshape(-1,1)*2

# 建立TensorFlow网络模型

x = tf.placeholder(tf.float32,[None,1])

y = tf.placeholder(tf.float32,[None,1])

# 定义权重

weights = {

    'w1':tf.Variable(tf.random_normal([1,10],stddev=0.1)),

    'w2':tf.Variable(tf.random_normal([10,20],stddev=0.1)),

    'out':tf.Variable(tf.random_normal([20,1],stddev=0.1))

}

biases = {

    'b1':tf.Variable(tf.random_normal([10])),

    'b2':tf.Variable(tf.random_normal([20])),

    'out':tf.Variable(tf.random_normal([1]))

}

# 定义模型

def deep_liner_model(_x,_weights,_biases):

    y1 = tf.nn.tanh(tf.add(tf.matmul(_x,_weights['w1']),_biases['b1']))

    y2 = tf.nn.tanh(tf.add(tf.matmul(y1,_weights['w2']),_biases['b2']))

    # 在计算的时候最后一层别使用激活函数，会进行映射不收敛的。

    out = tf.add(tf.matmul(y2,_weights['out']),_biases['out'])

    return  out

y_pred = deep_liner_model(x,weights,biases)

# 损失函数：使用欧式距离

# loss = tf.sqrt(tf.reduce_sum(tf.pow(y-y_pred,2)))

loss = tf.reduce_mean(tf.square(y-y_pred))

# 优化器：训练方法

optm = tf.train.GradientDescentOptimizer(learning_rate=0.1).minimize(loss)

#optm = tf.train.AdadeltaOptimizer(learning_rate=0.01).minimize(loss)

# 准确率：R方评估

R2 = 1 - tf.reduce_sum(tf.pow(y-y_pred,2))/tf.reduce_sum(tf.pow(y-tf.reduce_mean(y_pred),2))

acc_score = tf.reduce_mean(tf.cast(R2,tf.float32))

# 万事俱备只欠训练了。

with tf.Session() as sess:

    # 初始化全局变量

    sess.run(tf.global_variables_initializer())

    # 开始迭代首先使用一万次

    for i in range(20000):

        sess.run(optm,feed_dict={x:x_data,y:y_data})

        if (i+1)%1000==0:

            acc = sess.run(acc_score,feed_dict={x:x_data,y:y_data})

            avg_loss = sess.run(loss,feed_dict={x:x_data,y:y_data})

            print('epoch:%s loss:%s acc:%s'%(i+1,str(avg_loss),str(acc)))

    y_predict = sess.run(y_pred,feed_dict={x:x_data})

    plt.figure('tensorflow',figsize=(12,6))

    plt.scatter(x_data, y_data,label='sin(x)的值')

    plt.plot(x_data,y_predict,'r',linewidth=1,label='tensorflow拟合值')

    plt.rcParams['font.sans-serif'] = ['SimHei']  # 设置字体为SimHei显示中文

    plt.rcParams['axes.unicode_minus'] = False  # 设置正常显示符号

    plt.title('tensorflow实现y=sin(x)拟合')

    plt.xlabel('x-values',{'size':15})

    plt.ylabel('y-values-sin(x)',{'size':15})

    plt.legend(loc='upper right')

    plt.show()