最近，我本身使用以下代码（在下面给出）在MNIST数据集上实现了反向传播，并获得了大约95.7％的整体精度。
我的问题是我们如何才能进一步提高下面给出的代码的准确性。
我试图增加，减少隐藏节点的数量。还将学习率更改为不同的值，但准确性不会超过96％
任何帮助或参考将是有益的。
这不是一项家庭作业...只是我对机器学习感兴趣
import numpy as np
import matplotlib.pyplot as plt
import scipy.special
from sklearn.metrics import confusion_matrix
k = list()
k_ =list()
class NeuralNetworks:
def __init__(self, inputnodes, hiddennodes, outputnodes, learningrate ):
self.inodes = inputnodes
self.hnodes = hiddennodes
self.onodes = outputnodes
self.lr = learningrate
self.wih = np.random.normal(0.0 , pow(self.hnodes , -0.5),(self.hnodes, self.inodes))
self.who = np.random.normal(0.0 , pow(self.onodes , -0.5),(self.onodes , self.hnodes))
self.activation_function = lambda x: scipy.special.expit(x)
pass
def train(self, input_list, target_list):
inputs = np.array(input_list , ndmin = 2).T
targets = np.array(target_list , ndmin =2).T
hidden_inputs = np.dot(self.wih , inputs)
hidden_outputs = self.activation_function(hidden_inputs)
final_inputs = np.dot(self.who , hidden_outputs)
final_outputs = self.activation_function(final_inputs)
output_errors = targets - final_outputs
hidden_errors = np.dot(self.who.T, output_errors)
self.who += self.lr*np.dot((output_errors * final_outputs * (1 - final_outputs)), np.transpose(hidden_outputs))
self.wih += self.lr*np.dot((hidden_errors * hidden_outputs *(1 - hidden_outputs)), np.transpose(inputs))
pass
def query(self, input_list):
inputs = np.array(input_list , ndmin = 2).T
hidden_inputs = np.dot(self.wih , inputs)
hidden_outputs = self.activation_function(hidden_inputs)
final_inputs = np.dot(self.who , hidden_outputs)
final_outputs = self.activation_function(final_inputs)
return final_outputs
input_nodes = 784
hidden_nodes = 300
output_nodes = 10
learning_rate = 0.2
n = NeuralNetworks(input_nodes , hidden_nodes , output_nodes , learning_rate)
train_data_f = open("C:\Python27\mnist\mnist_train.csv" , 'r')
train_data_all = train_data_f.readlines()
train_data_f.close()
for rec in train_data_all:
all_val = rec.split(',')
inputs = (np.asfarray(all_val[1:])/255.0*.99) + 0.01
targets = np.zeros(output_nodes) + 0.01
targets[int(all_val[0])] = 0.99
n.train(inputs , targets)
test_data_f = open("C:\Python27\mnist\mnist_test.csv" , 'r')
test_data_all = test_data_f.readlines()
test_data_f.close()
for rec in test_data_all:
all_val = rec.split(',')
p = (n.query((np.asfarray(all_val[1:])/255*.99)+0.01))
k.append(list(p).index(max(list(p))))
k_.append(int(all_val[0]))
print confusion_matrix(k_ , k)
print np.trace(np.asarray(confusion_matrix(k_ , k)))/10000.0
上面的代码的输出是（混淆矩阵和整体精度）
Confusion Matrix-
[[ 965 0 1 0 0 1 9 0 3 1]
[ 0 1126 2 1 0 1 2 0 3 0]
[ 8 4 958 19 1 1 6 10 22 3]
[ 1 0 2 982 0 5 1 4 9 6]
[ 3 0 4 0 923 0 9 0 3 40]
[ 3 3 0 14 1 843 11 0 12 5]
[ 7 3 0 0 3 9 935 0 1 0]
[ 4 16 5 1 3 1 1 952 2 43]
[ 3 3 1 12 6 8 8 5 920 8]
[ 4 7 0 8 8 2 2 3 8 967]]
Overall Accuracy is 0.9571
这是情节
最佳答案
如果学习率太大，则意味着步幅可能太大，我们可能会超越潜在的最优值，甚至跳出最优值。
您应该深入了解Andrew Ng's Coursera Course
充分了解机器学习的基本知识。
其次，更好地使用卷积神经网络提取更多特征，这将提高您的准确性。
学习了CNN技术后，您可能会知道一些有用的技能dropout，池化，relu激活等。
关于python - 如何提高神经网络的准确性？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/43347456/