L29-相似矩阵和若尔当形

参考

Unit III: Positive Definite Matrices and Applications - Similar Matrices and Jordan Form | pdf
课本章节：Read Section 6.6 in the 4^th edition or Section 6.2 in the 5^th edition.
练习题：L29-相似矩阵和若尔当形-习题集

正定矩阵相关

正定矩阵源自于最小二乘法，在该算法/求解步骤中出现了 $A^{T}A$ ，其作用是将长方形的矩阵 $A_{m \times n}$ 构造/变成了 $n \times n$ 的方阵这个方阵是半正定矩阵

证明

正是通过该公式 $A^{T}A$ 可以快速构建出一个对称矩阵，所以 $A^{T}A$ 的结果矩阵就是对称矩阵

再进一步分析其正定性

x^{T}(A^{T}A)x=(x^{T}A^{T})(Ax)

根据置换运算的规则，可以将 $x^{T}A^{T}$ 转换为 $(Ax)^{T}$ 所以以上等式可以变成

x^{T}(A^{T}A)x=(x^{T}A^{T})(Ax)=(Ax)^{T}(Ax)

其中 $Ax$ 的结果是一个向量，即 $x^{T}(A^{T}A)x$ 实际是向量 $Ax$ 模长的平方

x^{T}(A^{T}A)x=(Ax)^{T}(Ax)=\|Ax\|^{2}\ge 0

因为 $x^{T}(A^{T}A)x\ge 0$ 所以方阵 $A^{T}A$ 是半正定矩阵

如果矩阵 $A$ 的零空间只有零向量，即方程 $Ax=0$ 只有唯一解 $x=0$ ，那么对于 $x\ne 0$ 的任意向量， $x^{T}(A^{T}A)x=(Ax)^{T}(Ax)=\|Ax\|^{2}> 0$ 成立，则 $A^{T}A$ 是正定矩阵

当矩阵 $A$ 的零空间只有零向量，则表示矩阵各列向量是线性独立的，相对应地 $A^{T}A$ 是可逆的，则最小二乘法有最优解

对于正定矩阵 $A$ 的逆矩阵 $A^{-1}$ ，也是正定矩阵

证明

因为逆矩阵 $A^{-1}$ 的特征值是原矩阵 $A$ 的特征值 $\lambda$ 的倒数 $\cfrac{1}{\lambda}$ ，如果原矩阵 $A$ 是正定矩阵，则它的所有特征值都是正数，相应地逆矩阵 $A^{-1}$ 的所有特征值也是正数，那么逆矩阵 $A^{-1}$ 也是正定矩阵

矩阵 $A$ 和 $B$ 都是正定矩阵，则它们的和 $A+B$ 的结果矩阵也是正定矩阵

证明

如果矩阵 $A$ 和 $B$ 是正定矩阵，则对于任意向量 $x$ 都满足

\left\{\begin{matrix} x^{T}Ax>0 \\ x^{T}Bx>0 \end{matrix}\right.

根据矩阵相乘法则（满足分配律）可得 $x^{T}(A+B)x=x^{T}Ax+x^{T}Bx>0$

所以矩阵 $A+B$ 也是正定矩阵

相似矩阵

如果存在一个矩阵 $M$ 它具有可逆矩阵 $M^{-1}$ ，使得 $B=M^{-1}AM$ 成立，则两个方阵 $A$ 和 $B$ 相似

使用以上等式，基于矩阵 $A$ ，采用不同的矩阵 $M$ 就可以得到一系列的相似矩阵，这样就将一些矩阵联系起来，将它们归为一个族 family（类似于向量空间对线性运算封闭，该矩阵集合对 $M^{-1}AM$ 这个运算封闭❓），每个族内的所有矩阵彼此相似。每个族可以用一个对角矩阵（或结构与对角矩阵相似的矩阵）来表示。

例如对于矩阵 $A_{2 \times 2}=\begin{bmatrix} 2 & 1 \\ 2 & 1 \end{bmatrix}$ 它的特征值是 $\lambda_{1}=3$ 和 $\lambda_{2}=1$

由于它具有 $2$ 个独立的特征向量，则可以进行对角化分解，得到 $A=S^{-1}\Lambda S$ 其中特征值矩阵 $\Lambda=\begin{bmatrix} 3 & 0 \\ 0 & 1 \end{bmatrix}$ ，那么矩阵 $A$ 相似于矩阵 $\Lambda$

以上是通过分解矩阵的方式来找到相似矩阵，还可以通过「逆向构造」的方式，找到相似矩阵

例如给出一个矩阵 $M=\begin{bmatrix} 1 & 4 \\ 0 & 1 \end{bmatrix}$ 其逆矩阵是 $M^{-1}=\begin{bmatrix} 1 & -4 \\ 0 & 1 \end{bmatrix}$ ，将它们相乘起来就可以得到与矩阵 $A$ 相似的矩阵 $B$

\begin{aligned} B&=M^{-1}AM \\ &= \begin{bmatrix} 1 & -4 \\ 0 & 1 \end{bmatrix} \begin{bmatrix} 2 & 1 \\ 2 & 1 \end{bmatrix} \begin{bmatrix} 1 & 4 \\ 0 & 1 \end{bmatrix} \\ &= \begin{bmatrix} -2 & -15 \\ 1 & 6 \end{bmatrix} \end{aligned}

通过计算可以知道矩阵 $B$ 的特征值也是 $\lambda_{1}=3$ 和 $\lambda_{2}=1$ ，它与矩阵 $A$ 以及前面分解得到的特征值矩阵 $\Lambda$ 都是相似的，而且它们的特征值都相同

根据特征值相同的这一特点，再根据 $trace=\lambda_{1} + \lambda_{2}$ 以及 $detA=\lambda_{1}\lambda_{2}$ ，可以快速构造出更多与 $A$ 相似的矩阵，例如 $\begin{bmatrix} 3 & 7 \\ 0 & 1 \end{bmatrix}$ 、 $\begin{bmatrix} 1 & 7 \\ 0 & 3 \end{bmatrix}$ 等

其中特征值矩阵 $\Lambda$ 是最特殊的，可以作为这一类相似矩阵的代表

相似矩阵都具有相同的特征值，且线性无关/独立的特征向量的数量也一样

证明

当矩阵 $B$ 与矩阵 $A$ 相似，则可以找到一个矩阵 $M$ 满足等式 $B=M^{-1}AM$

矩阵 $A$ 的特征值 $\lambda$ 满足等式 $Ax=\lambda x$

将以上等式变形为 $A{\color{Red} I}x=A{\color{Red} MM^{-1}}x=\lambda x$

再在以上等式两边乘上矩阵 $M^{-1}$ 可得

M^{-1}AMM^{-1}x=\lambda M^{-1}x

将 $B=M^{-1}AM$ 替换上式等号的左边部分，可得

BM^{-1}x=\lambda M^{-1}x

化简可得 $Bx\lambda x$ 即 $\lambda$ 也是矩阵 $B$ 的特征值

但是矩阵 $B$ 与矩阵 $A$ 的特征向量并不完全相同（如果特征值相同，特征向量也相同，则矩阵就会相同）

存在一种特殊的情况，即矩阵 $A_{n \times n}$ 出现了数值相同的特征值（由于特征向量和特征值是成对出现的，相应地无法得到 $n$ 个线性独立的特征向量），则矩阵 $A$ 无法进行对角化（也就无法得到相应的对角矩阵 $\Lambda$ 作为相似矩阵）

例如对于矩阵 $A_{2 \times 2}$ 它具有两个相同的特征值 $\lambda_{1}=\lambda_{2}=4$

⚠️ 那么由这两个特征值构成的对角矩阵 $B=\begin{bmatrix} 4 & 0 \\ 0 & 4 \end{bmatrix}$ 并不是与矩阵 $A$ 相似，并不能和它归到一个族 family，这个特殊的对角矩阵（实际上是与单位矩阵呈倍数关系）是单独成为一类/族

因为对于任意可逆矩阵 $M$ ，公式 $M^{-1}BM=4M^{-1}IM=4M^{-1}M=4I=B$ 都是成立的，即它（对于该公式）是「自我封闭」的

而矩阵 $A$ 与其他具有相同特征值矩阵归到另外一个族 family，例如 $\begin{bmatrix} 4 & 1 \\ 0 & 4 \end{bmatrix}, \begin{bmatrix} 5 & 1 \\ -1 & 3 \end{bmatrix}, \begin{bmatrix} 4 & 0 \\ 17 & 4 \end{bmatrix}$ 等，

若尔当形

若尔当 Jordan 提出了一种矩阵形式（和对角矩阵相似，更具有普遍性），以表示某一类的相似矩阵，可以包括具有相同的特征值的矩阵（而特征值矩阵 $\Lambda$ 只能用来表示没有相同数值的特征值的矩阵），称作 Jordan Form 若尔当形

例如对于以上示例的一系列相似矩阵，其若尔当形是 $\begin{bmatrix} 4 & 1 \\ 0 & 4 \end{bmatrix}$

对于以下的 $4 \times 4$ 的矩阵，它是一类相似矩阵的若尔当形

A= \begin{bmatrix} 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 \end{bmatrix}

其特征值都是 $\lambda_{i}=0$ 秩为 $rank=2$ ，所以零空间为 $4-2=2$ ，那么它的特征向量就「缺失」了两个（这里指的是特征向量线性相关，所以只有两个特征向量是线性独立的）

对于另一个矩阵，它具有相同的特征值，而且特征向量也是「缺失」两个，它与矩阵 $A$ 相似

B= \begin{bmatrix} 0 & 1 & 7 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 \end{bmatrix}

而考察以下矩阵

C= \begin{bmatrix} 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 1 \\ 0 & 0 & 0 & 0 \end{bmatrix}

虽然它具有相同的特征值，而且特征向量也是「缺失」两个，但是它与矩阵 $A$ 不相似

这里是根据矩阵可以划分的 若尔当块 Jordan Blocks 进行判定的

若尔当块 Jordan block 是一个矩阵 $j_{i}$ 它在对角线上是重复的特征值，左下方元素都是 $0$ ，右上方紧挨着对角线的元素都是 $1$ ，其余都是 $0$

J_{i}= \begin{bmatrix} \lambda_{i} & 1 & 0 & \dots & 0 \\ 0 & \lambda_{i} & 1 & \dots & 0 \\ \vdots & \vdots & \ddots & \vdots & \vdots \\ 0 & 0 & \dots & \lambda_{i} & 1 \\ 0 & 0 & \dots & 0 & \lambda_{i} \end{bmatrix}

若尔当理论是指每一个方阵 $A$ 都相似于一个若尔当矩阵 $J$ ，而这个若尔当矩阵是由若干个若尔当块 Jordan Blocks 构成的。可以对原矩阵按照若尔当块进行划分，如果两个矩阵是由不同的若尔当块构成的，那么即使它们矩阵相同的特征值和特征向量，也不能说明它们是相似矩阵

J= \begin{bmatrix} J_{1} & 0 & \dots & 0 \\ 0 & J_{2} & \dots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \dots & J_{d} \end{bmatrix}

对于以上的矩阵 $A$ 和 $C$ ，它们按照若尔当块进行划分，得到不同的结构，所以两个矩阵并不相似

计算若尔当矩阵的思路

如果方阵 $A_{n \times n}$ 含有 $n$ 个线性独立的特征向量，则它是可对角化的，那么它所对应的若尔当矩阵 $J$ 是特征值矩阵（对角矩阵） $J=\Lambda$
如果方阵 $A_{n \times n}$ 有 $n$ 个重复的特征指，则相应地会有 $n$ 个「缺失」的特征向量（这里指的是特征向量线性相关），则在若尔当矩阵 $J$ 中将会有 $n-d$ 个 $1$ 位于对角元素的右上方