本讲介绍奇异值分解（Singular value decomposition），简称 SVD。这是矩阵最终也是最好的分解，任意矩阵可分解为 A = U Σ V T A=UΣV^T A=UΣVT，分解结果为正交矩阵 U，对角阵Σ和正交矩阵 V。
如果矩阵 A 是正定矩阵，它的奇异值分解就是 A = Q Λ Q T A=QΛQ^T A=QΛQT，一个正交矩阵 Q 就可以满足分解，而不需要两个。而对于可对角化的矩阵有 A = S Λ S − 1 A =SΛS^{-1} A=SΛS−1，但特征向量矩阵 S 并不是正交矩阵，而 SVD 中的 U 和 V 都是正交矩阵。
如何实现
可以将矩阵 A 视为一种线性变换操作，将其行空间中的一个向量 v 1 v_1 v1,变为其列空间中的向量 u 1 = A v 1 u_1=Av_1 u1=Av1。奇异值分解就是要在行空间中寻找一组正交基，将其通过矩阵 A 线性变换生成列空间中的一组正交基 A v i = σ i u i Av_i=σ_iu_i Avi=σiui。
找出矩阵A行空间中的正交基很容易，Gram-Schmidt正交化过程就可以做到，但是随便的一组正交基经过矩阵矩阵 A 变换得到的向量并不一定正交，因此满足此要求的行空间的正交基非常特殊。而矩阵 A 零空间的向量所对应的是矩阵Σ 对角线上的 0 元素，因此很容易处理。
用矩阵数学语言描述这一过程
问题的核心就是找到行空间中一组特殊的正交基：
如果加入零空间的部分，等式就变为AV=UΣ。其中零空间对应的正交基 v r + 1 … … v n v_{r+1}……v_n vr+1……vn，经过线性变换得到 Av=0，对应 矩阵中对角线最后的特征值 σ r + 1 = σ r + 2 = … = 0 σ_{r+1}=σ_{r+2}=…=0 σr+1=σr+2=…=0。在等式 AV=UΣ两侧右乘 V-1得到 A = U Σ V − 1 = U Σ V T A=UΣV^{-1}=UΣV^T A=UΣV−1=UΣVT。
现在的问题就是怎么找到符合要求的向量 v i 和 u i v_i和 u_i vi和ui。 为了得到这两个正交矩阵，考虑首先解决其中的一个，在等式 A = U Σ V T A=UΣV^T A=UΣVT 两侧分别乘上等式 A T = V Σ T U T AT=VΣ^TU^T AT=VΣTUT两侧的项：
上式其实是正定矩阵 A T A A^TA ATA的正交分解， v i v_i vi就是矩阵 A T A A^TA ATA 的特征向量， σ i 2 σ_i^2 σi2就是矩阵 A T A A^TA ATA 的特征值，奇异值 σ i σ_i σi要取正平方根。用同样的办法也可以求得 U，它的列向量就是矩阵 A A T AA^T AAT的特征向量。
举例
例 1：矩阵 A = [ 4 4 − 3 3 ] A= \begin{bmatrix} 4&4\\-3&3 \end{bmatrix} A=[4−343] ，求其 SVD 分解。
矩阵为可逆矩阵，秩为 2，则需要在行空间中求得 v 1 v_1 v1， v 2 v_2 v2，列空间中求得 u 1 u_1 u1， u 2 u_2 u2，以及伸缩因子 σ 1 σ_1 σ1， σ 2 σ_2 σ2。
计算 A T A = [ 4 − 3 4 3 ] [ 4 4 − 3 3 ] = [ 25 7 7 25 ] A^TA=\begin{bmatrix} 4&-3\\4&3 \end{bmatrix}\begin{bmatrix} 4&4\\-3&3 \end{bmatrix}=\begin{bmatrix} 25&7\\7&25 \end{bmatrix} ATA=[44−33][4−343]=[257725],它的特征向量为 [ 1 1 ] \begin{bmatrix} 1\\1 \end{bmatrix} [11] 和 [ 1 − 1 ] \begin{bmatrix} 1\\-1 \end{bmatrix} [1−1]。标准化得到 v 1 = [ 1 2 1 2 ] , v 2 = [ 1 2 − 1 2 ] v_1=\begin{bmatrix} \frac{1}{\sqrt{2}}\\\frac{1}{\sqrt{2}}\end{bmatrix},v_2=\begin{bmatrix} \frac{1}{\sqrt{2}}\\\frac{-1}{\sqrt{2}}\end{bmatrix} v1=[2 12 1],v2=[2 12 −1],，求得 σ 1 2 = 32 σ_1^2=32 σ12=32， σ 2 2 = 18 σ_2^2 =18 σ22=18
求 U 的过程可以利用矩阵 A A T AA^T AAT。
A A T = [ 4 4 − 3 3 ] [ 4 − 3 4 3 ] = [ 30 0 0 18 ] AA^T=\begin{bmatrix} 4&4\\-3&3 \end{bmatrix}\begin{bmatrix} 4&-3\\4&3 \end{bmatrix}=\begin{bmatrix} 30&0\\0&18 \end{bmatrix} AAT=[4−343][44−33]=[300018]，求得 σ 1 2 = 32 σ_1^2=32 σ12=32， σ 2 2 = 18 σ_2^2 =18 σ22=18，它的特征向量为 [ 1 0 ] \begin{bmatrix} 1\\0 \end{bmatrix} [10] 和 [ 0 1 ] \begin{bmatrix} 0\\1 \end{bmatrix} [01]。
但是我们直接将 [ 1 0 0 1 ] \begin{bmatrix} 1&0\\0&1 \end{bmatrix} [1001]作为矩阵 U 代入，会产生错误 U Σ V T = [ 4 4 3 − 3 ] UΣV^T=\begin{bmatrix} 4&4\\3&-3 \end{bmatrix} UΣVT=[434−3] 。这是因为确定特征向量的过程中，特征向量反向仍然符合要求，通过现在的方法无法确认向量的符号，但是一旦我们确认 v 的方向之后，u 的方向也就随之确定，将 v 代入 AV=UΣ 计算 u 可以避免这种问题。u 和 v 之间的符号联系在进行 A A T AA^T AAT的计算时被切断了，而用 AV=UΣ 可以避免此问题。
例 2：奇异阵 A = [ 4 3 8 6 ] A=\begin{bmatrix} 4&3\\8&6 \end{bmatrix} A=[4836]，求其 SVD 分解。
矩阵的秩为 1，行空间和列空间都是 1 维的。行空间和零空间可以找到一组正交基转换得到列空间和左零空间的一组正交基。
很容易确定 v 1 = [ 0.8 0.6 ] , v 2 = [ 0.6 − 0.8 ] , u 1 = 1 5 [ 1 2 ] , u 2 = 1 5 [ 2 − 1 ] v_1=\begin{bmatrix} 0.8\\0.6 \end{bmatrix},v_2=\begin{bmatrix} 0.6\\-0.8 \end{bmatrix},u_1=\frac{1}{\sqrt{5}}\begin{bmatrix} 1\\2 \end{bmatrix},u_2=\frac{1}{\sqrt{5}}\begin{bmatrix} 2\\-1 \end{bmatrix} v1=[0.80.6],v2=[0.6−0.8],u1=5 1[12],u2=5 1[2−1]
A A T = [ 4 8 3 6 ] [ 4 3 8 6 ] = [ 80 60 60 45 ] AA^T=\begin{bmatrix} 4&8\\3&6 \end{bmatrix}\begin{bmatrix} 4&3\\8&6 \end{bmatrix}=\begin{bmatrix} 80&60\\60&45 \end{bmatrix} AAT=[4386][4836]=[80606045]，秩 1 矩阵，很容易求得 σ 1 2 = 125 σ_1^2=125 σ12=125， σ 2 2 = 0 σ_2^2 =0 σ22=0
矩阵的 SVD 分解为： A = 1 5 [ 1 2 2 − 1 ] [ 125 0 0 0 ] [ 0.8 0.6 0.6 − 0.8 ] A=\frac{1}{\sqrt{5}}\begin{bmatrix} 1&2\\2&-1 \end{bmatrix}\begin{bmatrix} \sqrt{125}&0\\0&0 \end{bmatrix}\begin{bmatrix} 0.8&0.6\\0.6&-0.8 \end{bmatrix} A=5 1[122−1][125 000][0.80.60.6−0.8]。
做奇异值分解就是在矩阵的四个子空间中寻找到合适的基：
v 1 ， v 2 … … v r v_1，v_2……v_r v1，v2……vr为行空间的标准正交基。
u 1 ， u 2 … … u r u_1，u_2……u_r u1，u2……ur为列空间的标准正交基。
v r + 1 ， v r + 2 … … v n v_{r+1}，v_{r+2}……v_n vr+1，vr+2……vn为零空间的标准正交基。
u r + 1 ， u r + 2 … … u m u_{r+1}，u_{r+2}……u_m ur+1，ur+2……um为左零空间的标准正交基。
奇异值分解在最小二乘法问题中有重要应用，因为在实际问题中常碰到矩阵 A不是列满秩的状态，因此 A T A A^TA ATA 不可逆，无法用之前的方法求最优解。即使是列满秩的情况当矩阵是超大型矩阵时， A T A A^TA ATA 的计算量太大，用奇异值分解的办法会降低计算量。