Hermite 矩阵的特征值不等式

将要学习

关于 Hermite 矩阵的特征值不等式. Weyl 定理以及推论.

Weyl 定理

Hermann Weyl 的如下定理是大量不等式的基础，这些不等式要么涉及两个 Hermite 矩阵之和，要么与加边的 Hermite 矩阵有关.

定理1（Weyl）： 设 $A,B \in M_n$ 是 Hermite 矩阵，又设 $A,B$ 以及 $A+B$ 各自的特征值分别是 $\{\lambda_i(A)\}_{i=1}^n, \{\lambda_i(B)\}_{i=1}^n$ 以及 $\{\lambda_i(A+B)\}_{i=1}^n$, 它们每一个都按照递增次序排列. 那么，对每一个 $i=1,\cdots,n$ 就有
\begin{align} \label{e1}
\lambda_i(A+B) \leqslant \lambda_{i+j}(A) + \lambda_{n-j} (B) , \quad j=0,1,\cdots, n-i
\end{align}
其中的等式对某一对 $i,j$ 成立，当且仅当存在一个非零向量 $x$，使得 $Ax=\lambda_{i+j}(A)x$, $Bx=\lambda_{n-j}(B)x$ 以及 $(A+B)x=\lambda_i(A+B)x$. 又对每一个 $i=1,\cdots,n$ 有
\begin{align} \label{e2}
\lambda_{i-j+1}(A)+\lambda_j(B) \leqslant \lambda_i(A+B), \quad j=1,\cdots ,i
\end{align}
其中和等式对某一对 $i,j$ 成立，当且仅当存在一个非零向量 $x$，使得 $Ax=\lambda_{i-j+1}(A)x$, $Bx=\lambda_j(B)x$ 以及 $(A+B)x=\lambda_i(A+B)x$. 如果 $B$ 没有公共的特征向量，那么定理中的两个不等式都是严格不等式.

证明： 设 $x_1,\cdots,x_n$，$y_1,\cdots,y_n$ 以及 $z_1,\cdots,z_n$ 分别是 $A$，$B$ 以及 $A+B$ 的标准正交的特征向量组，使得对每一个 $i=1,\cdots,n$ 都有 $Ax_i=\lambda_i(A)x_i$，$By_i=\lambda_i(B)y_i$ 以及 $(A+B)z_i=\lambda_i(A+B)z_i$. 对给定的 $i \in \{1,\cdots,n\}$ 以及任意的 $j \in \{0,\cdots,n-i\}$, 设 $S_1 =\mathrm{span} \{x_1,\cdots,x_{i+j}\}$，$S_2 =\mathrm{span} \{y_1,\cdots,y_{n-j}\}$，$S_3 =\mathrm{span} \{z_i,\cdots,z_n\}$. 那么
\begin{align}
\mathrm{dim}S_1 + \mathrm{dim}S_2 + \mathrm{dim}S_3 = (i+j) +(n-j) + (n-i+1) = 2n+1
\end{align}
所以有子空间的交引理知，存在一个单位向量 $x \in S_1 \cap S_2 \cap S_3$. 借助Rayleigh 商定理三次就得到两个不等式
\begin{align}
\lambda_i(A+B) \leqslant x^*(A+B)x = x^*Ax + x^*Bx \leqslant \lambda_{i+j}(A) + \lambda_{n-j}(B)
\end{align}
第一个不等式由 $x \in S_3$ 得出，而第二个不等式则分别由 $x \in S_1$ 以及 $x \in S_3$ 得出. ( \ref{e1} ) 中关于等式成立情形的命题由 Rayleigh 商定理中单位向量 $x$ 成立等式的情形以及下诸不等式推出：$x^*Ax \leqslant \lambda_{i+j}(A)$，$x \in S_1$；$x^*Bx \leqslant \lambda_{n-j}(B)$，$x \in S_2$ 以及 $ \lambda_i(A+B) \leqslant x^*(A+B)x$，$x \in S_3$.
不等式 (\ref{e2}) 以及它们的等式成立的情形可通过将 (\ref{e1}) 应用于 $-A，-B$ 以及 $-(A+B)$ 得出：
\begin{align}
-\lambda_{n-i+1}(A+B) =\lambda_i(-A-B) \leqslant \lambda_{i+j}(-A) + \lambda_{n-j}(-B) = -\lambda_{n-i-j+1}(A) -\lambda_{j+1}(B)
\end{align}
如果我们令 $i'=n-i+1$ 以及 $j'=j+1$, 则上一个不等式就变成
\begin{align}
\lambda_{i'}(A+B) \geqslant \lambda_{i'-j'+1}(A) + \lambda_{j'}(B), \quad j'=1,\cdots, i'
\end{align}
这就是 (\ref{e2}).
如果 $A$ 与 $B$ 没有公共的特征向量，那么 (\ref{e1}) 和 (\ref{e2}) 中等式成立的必要条件就不可能满足.

Weyl 定理描述了一个 Hermite 矩阵 $A$ 的特征值如果受到另一个 Hermite 矩阵 $B$ 加性的扰动可能会发生什么. 关于扰动矩阵 $B$ 的各种不同的条件会导致出现 (\ref{e1}) 和 (\ref{e2}) 的各种特例的不等式.

重要推论

接下来讲述的推论中，特征值仍是递增排序. 下面给个小例子，以便引出推论. 设 $B \in M_n$ 是 Hermite 矩阵. 如果 $B$ 恰好有 $\pi$ 个正的特征值，而且恰好有 $\nu$ 个负特征值，则 $\lambda_{n-\pi}(B) \leqslant 0$ 以及 $\lambda_{\nu+1}(B) \geqslant 0$, 其中的等式当且仅当 $n>\pi + \nu$, 也即当且仅当 $B$ 是奇异矩阵时成立.

推论1： 设 $A,B\in M_n$ 是 Hermite 矩阵. 如果 $B$ 恰好有 $\pi$ 个正的特征值，而且恰好有 $\nu$ 个负的特征值，那么
\begin{align} \label{e11}
\lambda_i(A+B) \leqslant \lambda_{i+\pi}(A),\quad i=1,\cdots,n-\pi
\end{align}
其中等式对某个 $i$ 成立，当且仅当 $B$ 是奇异的且存在非零向量 $x$, 使得 $Ax=\lambda_{i+\pi}(A) x$，$Bx=0$ 以及 $(A+B)x=\lambda _i(A+B)x$. 我们还有
\begin{align} \label{e12}
\lambda_{i-\nu}(A) \leqslant \lambda_i(A+B),\quad i=\nu +1,\cdots, n
\end{align}
其中等式对某个 $i$ 成立，当且仅当 $B$ 是奇异的且存在一个非零向量 $x$, 使得 $Ax=\lambda_{i-\nu}(A) x$，$Bx=0$ 以及 $(A+B)x=\lambda _i(A+B)x$. 如果 (\ref{e11}) 中 $B$ 是非奇异的或者式 (\ref{e12}) 中对 $A$ 的每一个特征向量都有 $Bx \neq 0$, 则上述两个不等式都是严格不等式.

对上述推论，再举个特例，设 $B \in M_n$ 是 Hermite 矩阵. 如果 $B$ 是奇异的，且 $\mathrm{rank}\,B=r$，由于 $B$ 是 Hermite 矩阵，则其可以酉对角化，所以 $B$ 的非零特征值的个数肯定等于 $r$, 则 $\lambda_{n-r} (B) \leqslant 0$ 以及 $\lambda_{r+1} \geqslant 0$（在上个推论中令 $A=0$ 也可得到同样的结果.）

推论2： 设 $A,B\in M_n$ 是 Hermite 矩阵. 假设 $B$ 是奇异的，且 $\mathrm{rank}\,B=r$，那么
\begin{align} \label{e13}
\lambda_i(A+B) \leqslant \lambda_{i+r}(A),\quad i=1,\cdots,n-r
\end{align}
其中等式对某个 $i$ 成立，当且仅当 $\lambda_{n-r}(B) = 0$，且存在一个非零向量 $x$，使得 $Ax=\lambda_{i+r}(A)x$，$Bx=0$ 以及 $(A+B)x=\lambda_i(A+B)x$. 又有
\begin{align} \label{e14}
\lambda_{i-r}(A) \leqslant \lambda_i(A+B),\quad i=r+1,\cdots,n
\end{align}
其中等式对某个 $i$ 成立，当且仅当 $\lambda_{i+1}(B)=0$，且存在一个非零向量 $x$，使得 $Ax=\lambda_{i-r}(A)x$，$Bx=0$ 以及 $(A+B)x=\lambda _i(A+B)x$. 如果 $A$ 的每个特征向量 $x$ 都有 $Bx \neq 0$, 则上述两个不等式都是严格不等式.

设 $B \in M_n$ 是 Hermite 矩阵. 如果 $B$ 恰有一个正的特征值且恰有一个负的特征值，则 $\lambda_2(B) \geqslant 0$ 且 $\lambda_{n-1}(B) \leqslant 0$，其中的等式当且仅当 $n>2$ 时成立.

推论3： 设 $A,B\in M_n$ 是 Hermite 矩阵. 假设 $B$ 恰有一个正的特征值且恰有一个负的特征值，那么
\begin{align}
& \lambda_1(A+B) \leqslant \lambda_2(A) \notag \\ \label{e8}
& \lambda_{i-1}(A) \leqslant \lambda_i(A+B) \leqslant \lambda_{i+1}(A), \quad i=2,\cdots, n-1 \\
& \lambda_{n-1}(A) \leqslant \lambda_n(A+B) \notag
\end{align}
等式对 $\pi =\nu =1$ 成立，例如， $\lambda_i(A+B) = \lambda_{i+1}(A)$ 当且仅当 $n>2$ 且存在一个非零向量 $x$，使得 $Ax=\lambda_{i+1}(A)x$，$Bx=0$ 以及 $(A+B)x=\lambda_i(A+B)x$ 时成立. 如果 $n=2$ 或者对 $A$ 的每个特征向量 $x$ 有 $Bx \neq 0$，那么上述三个不等式都是严格的不等式.

假设 $z \in \mathbb{C}^n$ 是非零的且 $n \geqslant 2$. 则 $zz^*$ 的秩为 $1$ 且只有一个正的特征值，所以 $\lambda_{n-1}(zz^*)=0=\lambda_1(zz^*)$.
下面的推论称为关于 Hermite 矩阵的秩 $1$-Hermite 摄动的交错定理.

推论4：设 $n \geqslant 2$，$A \in M_n$ 是 Hermite 矩阵，又设 $z \in \mathbb{C}^n$ 是非零向量. 那么
\begin{align}
& \lambda_i(A) \leqslant \lambda_i(A+zz^*) \leqslant \lambda_{i+1}(A),\quad i=1,\cdots,n-1 \\
& \lambda_n(A) \leqslant \lambda_n (A+zz^*) \notag
\end{align}
上式中的等式对 $\pi=1$ 以及 $\nu =0$ 成立，例如，$\lambda_i(A+zz^*) = \lambda_{i+1}(A)$ 当且仅当存在一个非零向量 $x$，使得 $Ax=\lambda_{i+1}(A)x$，$z^*x=0$ 以及 $(A+zz^*)x=\lambda_i(A+zz^*)x$. 又有
\begin{align}
& \lambda_1(A-zz^*) \leqslant \lambda_1(A) \\
& \lambda_{i-1}(A) \leqslant \lambda_i (A-zz^*) \leqslant \lambda_i(A),\quad i=2,\cdots,n \notag
\end{align}
上式中的等式对 $\pi=0$ 以及 $\nu =1$ 成立. 如果 $A$ 没有特征向量与 $z$ 正交，那么上边每一个不等式都是严格的不等式.

设 $B \in M_n$ 是半正定的，则 $\lambda_1(B)=0$ 当且仅当 $B$ 是奇异的.
下面的推论称为单调定理.

推论5：设 $A,B \in M_n$ 是 Hermite 矩阵，并假设 $B$ 是半正定的. 那么
\begin{align}
\lambda_i(A) \leqslant \lambda_i(A+B),\quad i=1,\cdots,n
\end{align}
其中等式对某个 $i$ 成立，当且仅当 $B$ 是奇异的，且存在一个非零向量 $x$，使得 $Ax=\lambda_i(A)x$，$Bx=0$ 以及 $(A+B)x=\lambda_i(A+B)x$. 又如果 $B$ 是正定的，那么
\begin{align}
\lambda_i(A) < \lambda_i(A+B),\quad i=1,\cdots,n
\end{align}

设给定 $y \in \mathbb{C}^n$ 以及 $a \in \mathbb{R}$，又设 $\mathcal{K} = \begin{bmatrix} 0_n & y \\ y^* & a \end{bmatrix} \in M_{n+1}$. 由加边矩阵的行列式的 Cauchy 展开式 $\mathrm{det} \begin{bmatrix} A & x \\ y^T & a \end{bmatrix} =a\,\mathrm{det} \,A -y^T(\mathrm{adj}\,A)x$ 得：$\mathcal{K}$ 的特征值是 $(a \pm \sqrt{a^2+4y^*y})/2$ 再加上 $n-1$ 个为零的特征值. 如果 $y \neq 0$，推出结论：$\mathcal{K}$ 恰好有一个正的特征值，也恰好有一个负的特征值.

Weyl 不等式以及它们的推论考虑的是 Hermite 矩阵的加性 Hermite 摄动. 从 Hermite 矩阵中取出一个主子矩阵，或者通过对它加边作成一个更大的 Hermite 矩阵，都会出现加性的特征值不等式. 下面的结果是关于加边的 Hermite 矩阵的 Cauchy 交错定理，有时它也称为分离定理.

定理2（Cauchy）： 设 $B \in M_n$ 是 Hermite 矩阵，设给定 $y \in \mathbb{C}^n$ 以及 $a \in \mathbb{R}$，又设 $A = \begin{bmatrix} B & y \\ y^* & a \end{bmatrix} \in M_{n+1}$. 那么
\begin{align} \label{e18}
\lambda_1(A) \leqslant \lambda_1(B) \leqslant \lambda_2(A) \leqslant \cdots \leqslant \lambda_n(A) \leqslant \lambda_n(B) \leqslant \lambda_{n+1}(A)
\end{align}
其中 $\lambda_i(A)=\lambda_i(B)$ 成立的充分必要条件是：存在一个非零的 $z \in \mathbb{C}^n$，使得 $Bz=\lambda_i(B)z$，$y^*z=0$，以及 $Bz=\lambda_i(A)z$；$\lambda_i(B)=\lambda_{i+1}(A)$ 成立的充分必要条件是：存在一个非零的 $z \in \mathbb{C}^n$，使得 $Bz=\lambda_i(B)z$，$y^*z=0$，以及 $Bz=\lambda_{i+1}(A)z$. 如果 $B$ 没有与 $y$ 正交的特征向量，则上式中的每一个不等式都是严格不等式.

证明： 如果我们用 $A+\mu I_{n+1}$ 代替 $A$（这就用 $B+\mu I$ 代替了 $B$），那么结论中有序排列中的特征值的交错性不变. 于是，不失一般性，可以假设 $B$ 与 $A$ 是正定的. 考虑 Hermite 矩阵 $\mathcal{H} =\begin{bmatrix} B & 0 \\ 0 & 0_1 \end{bmatrix} $ 以及 $\mathcal{K}= \begin{bmatrix} 0_n & y \\ y^* & a \end{bmatrix} $，对它们有 $A=\mathcal{H}+\mathcal{K}$. $\mathcal{H}=B\oplus [0]$ 的有序排列的特征值是 $\lambda_1(\mathcal{H})=0 < \lambda_1(B)=\lambda_2(\mathcal{H}) \leqslant \lambda_2(B) = \lambda_3(\mathcal{H}) \leqslant \cdots$，即对所有 $i=1,\cdots,n$ 都有 $\lambda_{i+1}(\mathcal{H}) = \lambda_i(B)$. 由于 $\mathcal{K} $ 恰好有一个正的特征值和一个负的特征值，故而不等式 (\ref{e8}) 确保
\begin{align} \label{e19}
\lambda_i(A) = \lambda_{i}(\mathcal{H} + \mathcal{K}) \leqslant \lambda_{i+1}(\mathcal{H}) = \lambda_i(B), \quad i=1,\cdots,n
\end{align}
对一个给定的 $i$，(\ref{e19}) 中等式成立的必要与充分条件表述在推论 3 中：存在一个非零的 $x \in \mathbb{C}^{n+1}$，使得 $\mathcal{H}x = \lambda_{i+1}(\mathcal{H})x$，$\mathcal{K}x=0$，$Ax=\lambda_i(A)x$. 如果我们用 $z \in \mathbb{C}^n$ 来分划 $x= \begin{bmatrix} z \\ \xi \end{bmatrix} $ 并利用恒等式 $\lambda_{i+1}(\mathcal{H}) = \lambda_i(B)$，计算揭示这些条件对于以下结论是等价的：存在一个非零的 $z \in \mathbb{C}^n$，使得 $Bz=\lambda_i(B)z$，$y^*z=0$，以及 $Bz=\lambda_i(A)z$. 特别地，如果 $B$ 没有与 $y$ 正交的特征向量，那么就不存在 $i$，使得必要条件 $z \neq 0$，$Bz=\lambda_i(B)z$ 以及 $y^*z=0$ 能得到满足.
对 $i=1,\cdots,n$，不等式 $\lambda_i(B) \leqslant \lambda_{i+1}(A)$ 可以通过将 (\ref{e19}) 应用于 $-A$ 得到：
\begin{align} \label{e20}
-\lambda_{(n+1)-i+1}(A) = \lambda_i(-A) \leqslant \lambda_i(-B) = -\lambda_{n-i+1}(B)
\end{align}
如果置 $i'=n-i+1$，我们就对 $i'=1,\cdots,n$ 得到等价的不等式 $\lambda_{i'+1}(A) \geqslant \lambda_{i'}(B)$. (\ref{e20}) 中等式出现的情形再次由推论 3 得出.

我们已经讨论了特征值交错定理的两个例子：如果一个给定的 Hermite 矩阵或者通过增加一个秩 1 的 Hermite 矩阵或者通过加边来加以修改，那么新旧特征值必定是交错的. 下面不加证明的给出这些定理的逆.

定理3： 设 $\lambda_1,\cdots, \lambda_n$ 以及 $\mu_1,\cdots, \mu_n$ 是满足交错不等式
\begin{align}
\lambda_1 \leqslant \mu_1 \leqslant \lambda_2 \leqslant \mu_2 \leqslant \cdots \leqslant \lambda_n \leqslant \mu_n
\end{align}
的实数. 设 $\Lambda= \mathrm{diag} \{\lambda_1,\cdots, \lambda_n\}$. 那么存在一个实向量 $z \in \mathbb{R}^n$，使得 $\Lambda+zz^*$ 的特征值是 $\mu_1,\cdots,\mu_n$.

应该知道什么

Weyl 定理：$\lambda_i(A+B) \leqslant \lambda_{i+j}(A) + \lambda_{n-j} (B) $ 与 $\lambda_{i-j+1}(A)+\lambda_j(B) \leqslant \lambda_i(A+B)$
Hermite 矩阵非零特征值的个数等于其秩的大小
假设 $z \in \mathbb{C}^n$ 是非零的且 $n \geqslant 2$. 则 $zz^*$ 的秩为 $1$ 且只有一个正的特征值
如果一个给定的 Hermite 矩阵或者通过增加一个秩 1 的 Hermite 矩阵或者通过加边来加以修改，那么新旧特征值必定是交错的.