1 LMS 学习规则

1.1 LMS学习规则定义

MSE=(1/Q)*Σe=(1/Q)*Σ(t-a)，k=1,2,...,Q

式中：Q是训练样本；t(k)是神经元的期望输出；a(k)是神经元的实际输出。

线性神经网络的目标是寻找最适合的权值W，使得均方差MSE最小，只要对MSE求ω得偏导数，然后让偏导数等于0，那么就可以计算出MSE的极值。

for example：

原始输入：X=[0 0]、t=0，X=[1 0]、t=0，X=[0 1]、t=0，X=[1 1]、t=1。

更改后的输入：X=[0 0 1]、t=0，X=[1 0 1]、t=0，X=[0 1 1]、t=0，X=[1 1 1]、t=1。

(1) 初始化权值 W=[ω，ω]，偏置值 b=b；

(2) 设ω=b，则W=[ω，ω，ω]，更改后的输入如上；

(3) 求解每一个输入的偏差；

(4) 偏差相加求平均；

(5) 对每个权值求偏导数；

(6) 解方程组。

e=t-a=0-XW=-ω；

e=t-a=0-XW=-ω-ω；

e=t-a=1-XW=1-ω-ω-ω。

MSE=((ω)+(ω+ω)+(ω+ω)+(1-ω-ω-ω))/4

对MSE的ω求偏导数，得：∂MSE/∂ω=ω+0.5ω+ω-0.5；

对MSE的ω求偏导数，得：∂MSE/∂ω=0.5ω+ω+ω-0.5；

对MSE的ω求偏导数，得：∂MSE/∂ω=ω+ω+2ω-0.5。

使偏导数等于0，可得方程组：

[2 1 2;1 2 2;2 2 4]*[ω ω ω]=[1 1 1]。解该方程，可得

ω= 0.5；

ω=0.5；

ω=-0.25。

因此，可得 0.5x+0.5x-0.25=0.5 (0.5是因为期望输出为0和1，取其中间值(0+1)/2=0.5)

计算到这步，则可以使用该几何图形将输入的数据在图形上分开，同时得到最佳权值。除用此方法求权值外，还可以使用迭代法计算权值。将在神经网络_线性神经网络 3中讲解 (Nerual Network_Linear Nerual Network)。