1 LMS 学习规则_解方程组
1.1 LMS学习规则举例
X=[0 0 1]，t=0；X=[1 0 1]，t=0；X=[0 1 1]，t=0；X=[1 1 1]，t=1。
设权值分别为ω，ω，ω。
将输入和权值组合得方程组：
ω0+ω0+ω1=0；
ω1+ω0+ω1=0；
ω0+ω1+ω1=0；
ω1+ω1+ω1=0。
可将该线性方程组写成矩阵的形式：
[0 0 1;1 0 1;0 1 1;1 1 1] [ω ω ω]=[0 0 0 1]。
则[ω ω ω]=pinv([0 0 1;1 0 1;0 1 1;1 1 1])=T
1.2 LMS学习规则迭代更新公式推导
在实际运算中，经常通过迭代的方式求解W权值，迭代方式通常采用梯度下降法：
给定代价函数 E(ω) = 0.5*e(n)
式中，e(n) = t(n) - X(n)*ω(n) ，e(n)表示误差，t(n)表示期望（目标）值，X(n)*ω(n)表示实际值。
上式两边对ω求偏导数 ∂E/∂ω = e(n)*∂e(n)/∂ωωωω∂