引言
想一下，在什么情况下可能需要将一个向量往一个子空间投影。在MIT的线代课程中，Gilbert教授给出了一种场景：即我们想要求解\(Ax=b\)，但是\(b\)不在\(A\)的列空间中，此时我们希望在\(A\)的列空间中找一个离\(\overrightarrow{b}\)最近的向量\(\overrightarrow{f}\)，求解\(A\hat{x}=f\)，借由\(\hat{x}\)给出\(x\)的近似解。
矩阵乘法可以表示向量的线性变换，所以本篇笔记的主要内容是记录找到一个投影矩阵\(P\)的方法，通过左乘它完成向量对某一个子空间的投影，将向量\(\overrightarrow{b}\)转换为另一个向量\(\overrightarrow{f}\)。即：\(P\overrightarrow{b}=\overrightarrow{f}\)
平面上的投影
现在的情况如图所示，我们先来试着推导一下在平面中实现投影的投影矩阵长什么样子。我们想要将向量\(\overrightarrow{b}\)往\(\overrightarrow{a}\)上投影，现在已经在图上做出了投影的结果，即\(\overrightarrow{f}\)。那么，首先因为它俩是共线关系有：\[\begin{equation}\overrightarrow{f}=λ\overrightarrow{a}\end{equation}\]
其次：\[\begin{equation}(\overrightarrow{f}-\overrightarrow{b})\perp{\overrightarrow{a}}\end{equation}\]
知晓这两个关系，我们大概能推导出我们的结果了。将(2)的关系写成矩阵乘法的形式，应该有\[\begin{equation}a^{\mathrm{T}}(λa-b)=0\end{equation}\]
化简一下，去掉括号有\[\begin{equation}λa^{\mathrm{T}}a=a^{\mathrm{T}}b\end{equation}\]
由于\(a^{\mathrm{T}}a\)是一个数，两边除以它可以推出\[\begin{equation}λ = \frac{a^{\mathrm{T}}b}{a^{\mathrm{T}}a}\end{equation}\]
然后再把得到的λ代回到(1)中，我们已经可以写出一个投影矩阵了：\[\begin{equation}f = aλ = a\frac{a^{\mathrm{T}}b}{a^{\mathrm{T}}a} = \frac{\ a\ a^{\mathrm{T}}}{a^{\mathrm{T}}a}b\end{equation}\]
我们已经得到了一个投影矩阵了，那就是\[\begin{equation}P = \frac{\ a\ a^{\mathrm{T}}}{a^{\mathrm{T}}a}\end{equation}\]我们给这个矩阵一个符号\(P\)。不得不说我们上面推导过程中\(a\)和\(b\)放置的位置都是有选择的，要不然不会这么顺利推出投影矩阵。但是好在我们已经得出了结果。
平面上的投影矩阵P
所以现在来看下P的性质：
- 观察P我们会发现这是一个对称矩阵，即\(P^{\mathrm{T}}=P\)
- \(rank(P)=1\)
- \(P\)的列空间是什么，它的列空间是向量\(\overrightarrow{a}\)所在的一条过原点的直线。一个矩阵对应的列空间定义为矩阵内列向量的线性组合，很显然这些线性组合得到的向量都落在这条直线上。
- 而且还有一个很有意思的性质，即\(P^2=P\)。实际推导一下很快得出结果，而且从几何角度想，左乘两次P矩阵相当于往\(P\)的列空间投影两次，第一次投影在\(f\)的位置上了，而\(f\)本身就在\(P\)的列空间中，再往\(P\)的列空间投影显然还在\(f\)这个位置，就是它本身。
三维空间上的投影
二维空间可能并说明不了什么问题，让我们试试三维，凭我们从小到大的数学直觉，一般认为三维比二维空间更有说服力，而且能将一些结论推向高维。下面还是画一个在三维空间的抽象图：
这个图可能不是很好看，反正就是表达有一个平面，一个向量\(\overrightarrow{b}\)对着它投影得到\(\overrightarrow{f}\)。这里的平面是\(R^3\)中的一个子空间，显然它由一组基张成。这组基由两个线性无关的3维向量\(\overrightarrow{a_1},\overrightarrow{a_2}\)组成，将它们写成矩阵的形式为\(A=[\overrightarrow{a_1} \ \overrightarrow{a_2}]\)，它是一个3x2的矩阵。那么还是老样子，仿照二维空间得出投影矩阵的流程，我们先要从图中找出向量对应的关系。第一点，\(\overrightarrow{f}\)在\(C(A)\)中，因此\[\begin{equation}f=A\hat{x}\end{equation}\]
写成\(\hat{x}\)是为了与引言对应起来。同时，既然\(\overrightarrow{f}\)为\(\overrightarrow{b}\)的投影向量，\[\begin{equation}(\overrightarrow{f}-\overrightarrow{b})\perp{C(A)}\end{equation}\]其中\(C(A)\)是矩阵A对应的列空间，在这里即那个平面。当然也可以表示成\[\begin{equation}\left \{\begin{array}{lr} a_1^{\mathrm{T}}(b-A\hat{x})=0 \\ a_2^{\mathrm{T}}(b-A\hat{x})=0 \\\end{array}\right.\end{equation}\]将它重新写回矩阵的形式有\[\begin{equation}\left[\begin{matrix}a_1^{\mathrm{T}}\\a_2^{\mathrm{T}}\end{matrix}\right](b-A\hat{x})=\left[\begin{matrix}0\\0\end{matrix}\right]\end{equation}\]也就是\[\begin{equation}A^{\mathrm{T}}(b-A\hat{x})=0\end{equation}\]
酷，我们先不急着展开(12)，研究一下这个等式。所以\(b-A\hat{x}\)在哪个向量子空间中？它应该在\(A^{\mathrm{T}}\)的零空间中，也就是在\(A\)的左零空间中。
等等，在这里平面是\(A\)对应的列空间，而\(b-A\hat{x}\)处于\(A\)对应的左零空间。我们知道\(b-A\hat{x}\perp{平面}\)，所以矩阵对应的左零空间与列空间正交。而这个本身就是一个性质：矩阵对应的左零空间与列空间是正交的（这个在四个基本子空间的笔记中有证明）。所以我们无意间证明了这个性质。
现在我们可以展开(12)等到我们一直想要知道的投影矩阵了。通过移项我们最终能得到这么一个等式\[\begin{equation}\hat{x}=(A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}}b\end{equation}\]
好吧，我其实省略了一步，为什么\(A^{\mathrm{T}}A\)一定可逆，它会不会不可逆？答案是\(A^{\mathrm{T}}A\)一定可逆。
\(A^{\mathrm{T}}A\)可逆的证明
我们前面已经知道\(rank(A)=2\)，即\(A\)的列向量线性无关，所以\(Ax=0\)仅有0解。现在我们试着探究\(A^{\mathrm{T}}A\)的对应的零空间Nul(\(A^{\mathrm{T}}A\))。假设v是零空间中的一员。那么有\[(A^{\mathrm{T}}A)v=0\]，那么左边式子左乘\(v^{\mathrm{T}}\)上式仍成立，即\[v^{\mathrm{T}}(A^{\mathrm{T}}A)v=0\]改变括号的位置，我们能得到\[(Av)^{\mathrm{T}}(Av)=0\]要使上式成立，仅在\(Av=0\)下才可能。而在一开始就说了，A的零空间仅有零向量，也就是说v=0时，\((A^{\mathrm{T}}A)v=0\)才会成立。所以\(A^{\mathrm{T}}A\)的零空间也仅有零向量，\(A^{\mathrm{T}}A\)对应的列向量线性无关，\(rank(A^{\mathrm{T}}A)=3\)，行列满秩，矩阵可逆。
回到投影矩阵的求解
接着回到上面得到的(13)式，将它代回到(8)中，我们就能得到梦寐已久想知晓的投影矩阵了。我们将这个等式写出来：\[\begin{equation}f=A(A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}}b\end{equation}\]
所以向量b的左边就是我们要求的投影矩阵P了，我们将劳动成果单独写出来\[\begin{equation}P=A(A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}}\end{equation}\]
额，(15)式太复杂了，俺们将它化解一下吧。去掉括号，合并一下，得到了...单位矩阵\(I\)。不，肯定哪里出错了。是的，一开始给定的A是3x2的矩阵，A并不是方阵，所以并不能去掉括号得到\(A^{-1}\)。太好了，我们的成果保住了。
那么再来思考下，我们是在假设A是方阵的情况下，得到投影矩阵化简的最终形式是单位阵。嗯...仔细思考一下，这十分合理。我们一开始就是要将向量\(\overrightarrow{b}\)往A的列空间投影，那么现在A是个3x3的方阵，A张开的列空间就是三维空间\(R^3\)。一个\(R^3\)中的向量往\(R^3\)投影就是它本身，这个解释听起来很合理。
那么看来不能将(15)式化简了。我们再来将它和平面空间中得到的投影矩阵(7)对比一下。它们有相同的性质，比如都是对称矩阵，或者\(P^2=P\)。而且它们的形式也很相近。
好吧，我们最终得到了能将三维空间中将一个向量\(\overrightarrow{b}\)往一个子空间映射的投影矩阵\(P\)。矩阵乘法\(Pb\)的结果就是在这个子空间中有一个向量\(\overrightarrow{f}\)，它是由\(\overrightarrow{b}\)投影得到。
总结
这个结论应该能被推向高维，即如果A不是3x2的矩阵，比如是4x3的矩阵。那么投影的过程就是四维空间中的一个向量\(\overrightarrow{b}\)往其中的一个三维子空间投影。这个子空间由3个线性无关的4维向量\(\overrightarrow{e_1},\overrightarrow{e_2},\overrightarrow{e_3}\)张成，将它们写在一起能得到一个矩阵\(A=[e_1,e_2,e_3]\)。再借由(15)我们能得到投影矩阵\(P\)，作矩阵乘法，我们就能得到一个向量\(\overrightarrow{f}\)，它在子空间中，并且是向量\(\overrightarrow{b}\)往三维子空间投影的结果。