L26-对称矩阵及正定性

参考

Unit III: Positive Definite Matrices and Applications - Symmetric Matrices and Positive Definiteness | pdf
课本章节：Read Section 6.4 through 6.5 in the 4^th or 5^th edition.
练习题：L26-对称矩阵及正定性-习题集

对称矩阵

对称矩阵 Symmetric Matrices 是指满足 $A=A^{T}$ 的特殊矩阵

特殊矩阵在特征值和特征向量上有所反映，例如 Markov Matrices 马尔可夫矩阵

（各元素都是实数的）对称矩阵会满足以下两条特性：

特征值都是实数
特征向量相互垂直/正交

例如单位矩阵 $I$ 是对称矩阵，它的特征值都是 $1$ ，它的列向量就是特征向量，满足以上一个特性

证明

根据特征值 $\lambda$ 的定义，可知它们满足等式 $Ax=\lambda x$

先假设对称矩阵 $A$ 特征值 $\lambda_{i}$ 和特征向量 $x_{i}$ 都可能含有复数

根据等式 $Ax=\lambda x$ （两边同时取共轭复数）可得 $\overline{A}\overline{x}=\overline{\lambda}\overline{x}$

如果矩阵 $A$ 各元素仅由实数构成，则 $\overline{A}=A$ ，则以上等式为 $A\overline{x}=\overline{\lambda}\overline{x}$

然后对以上等式两边分别进行转置，可得 $\overline{x}^{T}A^{T}=\overline{\lambda}\overline{x}^{T}$ （其中 $\overline{\lambda}$ 是常数，所以不参与转置操作）

在以上等式 $\overline{x}^{T}A^{T}=\overline{\lambda}\overline{x}^{T}$ 两边同时乘上 $x$ 可得 $\overline{x}^{T}A^{T}x=\overline{\lambda}\overline{x}^{T}x$

由于矩阵 $A$ 是对称矩阵，所以 $A=A^{T}$ ，则以上等式可以化简为 ${\color{Red}\overline{x}^{T}Ax }=\overline{\lambda}\overline{x}^{T}x$

在等式 $Ax=\lambda x$ 两边同时乘上 $\overline{x}$ 可得 ${\color{Red}\overline{x}Ax }=\lambda \overline{x}x$

上述两个等式的左边都相同，所以它们的右边也是相等，可得 $\overline{\lambda}\overline{x}^{T}x=\lambda \overline{x}x$

由于 $\overline{x}^{T}x=$ 表示复数 $x$ 的模长的平方

💡 在涉及到复数的计算时，常常通过共轭复数和原复数相乘，将其变换为实数

\begin{aligned} \overline{x}^{T}x&= \begin{bmatrix} \overline{x_{1}} & \overline{x_{2}} & \dots & \overline{x_{n}} \end{bmatrix} \begin{bmatrix} x_{1} \\ x_{2} \\ \vdots \\ x_{n} \end{bmatrix} \\ &=\overline{x_{1}}x_{1}+\overline{x_{2}}x_{2}+\dots+\overline{x_{n}}x_{n} \\ &=\|x_{1}\|^{2}+\|x_{2}\|^{2}+\dots+\|x_{n}\|^{2} \end{aligned}

所以当 $x\ne 0$ 不为零向量时，即 $\overline{x}^{T}x \ne 0$ ，可得 $\overline{\lambda}=\lambda$ 则表示所有的特征值 $\lambda$ 为实数

如果矩阵 $A$ 各元素可能由复数构成，如果要证得相同结论（特征值都是实数），则对应的前提条件是 $A=\overline{A}^{T}$ （可以将这个等式关系称为「完全对称」，这是针对更一般矩阵，其中元素可能有复数的场景）

以上是对于对称矩阵的第一个特性（特征值都是实数）的证明，而第二个特性在课堂上并没有给出证明，具体可以查看教材的相关部分

谱定理

在前面的课程中介绍过，对于有 $n$ 个线性独立的特征向量的矩阵 $A$ ，可以（对角化）分解为 $A=S \Lambda S^{-1}$

由于对称矩阵的特征向量是相互垂直的，所以特征向量矩阵 $S$ 是正交矩阵，可以记作 $Q$

则对称矩阵 $A$ 可以（对角化）分解为 $A=Q \Lambda Q^{-1}$

由于正交矩阵 $Q$ 满足 $Q^{-1}=Q^{T}$ ，则以上等式可以变形为 $A=Q \Lambda Q^{-1}=Q\Lambda Q^{T}=$

提示

由于矩阵的置换操作（只需要将行和列的相应元素对调即可得出置换矩阵），比求解逆矩阵简单，所以置换矩阵 $Q^{T}$ 比 $Q^{-1}$ 更容易求得，所以通过以上变形所得的等式更常用

对称矩阵可分解为 $A=Q \Lambda Q^{T}$ 称为 Spectral Theorem 谱定理

提示

这里的「谱」是指对称矩阵的特征值的集合，因为它们相互正交，就像光谱分解为不同的颜色一样（它们构成白光 ❓）

相应地，如果一个矩阵可以（对角化）分解为 $A=Q\Lambda Q^{T}$ （其中 $Q$ 为正交矩阵），则该矩阵为对称矩阵

证明

如果矩阵 $A$ 可以分解为 $A=Q\Lambda Q^{T}$ 其中 $Q$ 是正交矩阵

则逆矩阵为

\begin{aligned} A^{T}&=(Q \Lambda Q^{T})^{T} \\ &=(Q^{T})^{T}\Lambda^{T}Q^{T} \\ &=Q\Lambda^{T}Q^{T} \end{aligned}

由于 $\Lambda$ 是对角矩阵，所以它的置换矩阵 $\Lambda^{T}$ 等于其自身 $\Lambda^{T}=\Lambda$

所以以上等式可以进一步变换

\begin{aligned} A^{T}&=Q \Lambda^{T} Q^{T} \\ &=Q \Lambda Q^{T} \\ &=A \end{aligned}

所以矩阵 $A$ 是对称矩阵

可以将谱定理 $A=Q\Lambda Q^{T}=$ 进一步展开（另一种理解角度）

\begin{aligned} A&=Q\Lambda Q^{T} \\ &= \begin{bmatrix} q_{1} & q_{2} & \dots & q_{n} \end{bmatrix} \begin{bmatrix} \lambda_{1} & 0 & \dots & 0 \\ 0 & \lambda_{2} & \dots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \dots & \lambda_{n} \end{bmatrix} \begin{bmatrix} q_{1}^{T} \\ q_{2}^{T} \\ \vdots \\ q_{n}^{T} \\ \end{bmatrix} \\ &= \begin{bmatrix} \lambda_{1}q_{1} & \lambda_{2}q_{2} & \dots & \lambda_{n}q_{n} \end{bmatrix} \begin{bmatrix} q_{1}^{T} \\ q_{2}^{T} \\ \vdots \\ q_{n}^{T} \\ \end{bmatrix} \end{aligned}

以上等式展开到最后是两个矩阵相乘（其中 $q_{i}$ 表示列向量，则 $q_{i}^{T}$ 表示行向量），以列向量与行向量相乘的角度来考虑，会得到一系列维度相同的矩阵，再相加

则以上等式可以进一步展开为

\begin{aligned} A&=Q\Lambda Q^{T} \\ &= \begin{bmatrix} \lambda_{1}q_{1} & \lambda_{2}q_{2} & \dots & \lambda_{n}q_{n} \end{bmatrix} \begin{bmatrix} q_{1}^{T} \\ q_{2}^{T} \\ \vdots \\ q_{n}^{T} \\ \end{bmatrix} \\ &=\lambda_{1}q_{1}q_{1}^{T}+\lambda_{2}q_{2}q_{2}^{T}+\dots+\lambda_{n}q_{n}q_{n}^{T} \end{aligned}

其实以上的每一个项 $q_{i}q_{i}^{T}$ 都是投影矩阵，所以对称矩阵（从另一个角度来看）可以分解为一系列的投影矩阵的（相加）组合，而组合中各项的系数是相应的 $\lambda_{i}$ 特征值

投影矩阵

投影矩阵应该满足以下两个特性

$P^{T}=P$
$P^{2}=P$

对于 $q_{i}q_{i}^{T}$

$(q_{i}q_{i}^{T})^{T}=(q_{i}^{T})^{T}q_{i}^{T}=q_{i}q_{i}^{T}$ 满足特性一
$(q_{i}q_{i}^{T})^{2}=q_{i}q_{i}^{T}q_{i}q_{i}^{T}$ 如果正交向量 $q_{i}$ 是经过了标准化的，则 $q^{T}q_{i}=I$ 就是单位矩阵，所以前面等式可以化简为 $(q_{i}q_{i}^{T})^{2}=q_{i}q_{i}^{T}q_{i}q_{i}^{T}=q_{i}Iq_{i}^{T}=q_{i}q_{i}^{T}$ 满足特性二

所以 $q_{i}q_{i}^{T}$ 的结果矩阵是投影矩阵，将任意向量投影到 $q_{i}$ 的列空间（其实就是向量 $q_{i}$ 所在的直线）

而且 $q_{i}q_{i}^{T}$ 也是对称矩阵 $(q_{i}q_{i}^{T})^{T}=(q_{i}^{T})^{T}q_{i}^{T}=q_{i}q_{i}^{T}$

主元与特征值的符号

对称矩阵 $A$ 的一系列主元的（正负）符号（数量）与一系列特征值的（正负）符号（数量）一样

number(positive \ pivots)=number(positive \ \lambda^{'}s)

一般通过求解特征方程 $det(A-\lambda I)=0$ 来得到所有的特征值，但是对于维度较大的矩阵 $A$ 求解比较困难（运算量大），而通过消元变换得到简化行阶梯形式相对比较简单，从中可以知道矩阵的各个主元，再利用前面所述的主元与特征值正负号数量相同的特性，可以从中了解到特征值的部分信息

例如将原矩阵（对称矩阵）拆分/简化为 $A+bI$ 形式

首先通过 $A$ 的主元的正负性，可以知道矩阵 $A$ 的特征值正负性
由于矩阵 $A$ 与原矩阵 $A+bI$ 的特征值存在特定的数量关系，矩阵 $A$ 的每个特征值 $\lambda_{A}$ 都比原矩阵的相应特征值少 $b$
所以根据矩阵 $A$ 的特征值正负性（与 $0$ 相比），推导出原矩阵 $A+bI$ 的特征值与 $b$ 的大小关系（与 $b$ 相比）

正定性

正定矩阵 Positive definite 是指特征值都为正数的对称矩阵

提示

根据前面介绍的定理，可知正定矩阵的主元也是正数

同样可以根据矩阵的主元的正负性来判断一个矩阵是否为正定矩阵

例如以下是一个正定矩阵

A= \begin{bmatrix} 5 & 2 \\ 2 & 3 \end{bmatrix}

观察矩阵 $A$ 可知其中一个主元是 $5$ ，设另一个主元是 $x$

矩阵 $A$ 的特征值是 $detA=5 \times 3 - 2 \times 2=11$ ，由于对角矩阵的特征值是其对角线上各元素（即主元）的乘积，所以矩阵 $A$ 的行列式与主元的关系式是 $detA=11=5x$ 解得 $x=11/5$

提示

也可以通过消元变换得到简化行阶梯形式，求出矩阵的主元

所以矩阵 $A$ 的两个主元都是正数，即矩阵 $A$ 是正定矩阵

注意

根据矩阵的特征值的积等于行列式 $detA=\prod_{i=1}^{n} \lambda_{i}$ 所以正定矩阵的特征值也是正数

但是反过来则不一定成立，即矩阵的行列式为正数并不能推断它就是正定矩阵

例如矩阵 $A=\begin{bmatrix} -1 & 0 \\ 0 & -3 \end{bmatrix}$ 的行列式是 $detA=-1 \times -3=3$ 是正数，但是它的特征值都是负数，所以它不是正定矩阵

如果要根据特征值的正负判断方阵 $A_{n \times n}$ 是否为正定矩阵，则除了要验证矩阵自身的行列式是否为正，还需要验证（沿着对角线向上的） $n-1$ （其中 $1 \le k \le n$ ）个「子方阵」的行列式是否都为正

例如对于矩阵 $A=\begin{bmatrix} -1 & 0 \\ 0 & -3 \end{bmatrix}$ 除了要验证矩阵本身的行列式，还要沿着对角线「向上回溯」查看各个子矩阵的行列式

在这个示例中则需要考察矩阵 $\begin{bmatrix} -1 \end{bmatrix}$ 的行列式，它的行列式是 $-1$ 不是正数，所以原矩阵并不是正定矩阵