奇异值分解的起源/目的是将位于行空间 row space 里的一组正交基 $v_{i}$，通过矩阵 $A$ 的线性变换，得到在列空间 column space 中的对应的一组正交基 $u_{i}$，即满足 $\sigma_{i}u_{i}=Av_{i}$（变换基，而且这些基都是正交的）

写成矩阵形式

即 $AV=U \Sigma$ 在等式两边同时乘上 $V^{-1}$ 可得 $A=U \Sigma V^{-1}$，由于矩阵 $V$ 是由正交基构成的，所以它是正交矩阵，满足 $V^{-1}=V^{T}$，则等式可以写成 $A=U \Sigma V^{T}$ 这就得到了奇异值分解的公式

在一个向量空间中，要得到一组正交向量是很简单的，只需要通过 Gram-Schmidt process 格拉姆-施密特正交化可以从线性无关/线性独立的一系列（列）向量构造出正交基。而要实现奇异值分解的关键是找到一组在行空间 row space 里的一组正交基 $v_{i}$，通过矩阵 $A$ 的线性变换后，所得到的（在列空间 column space 中）一系列向量刚好也是正交的

例如对于以下可逆矩阵 $A$

其秩 rank 为 $2$，为了进行奇异值分解，需要在行空间 row space $\mathbb{R^{2}}$ 中寻找一组正交基 $v_{1}$ 和 $v_{2}$，在列空间 column space 寻找一组正交基 $u_{1}$ 和 $u_{2}$，以及一组系数（正值）$\sigma_{1}$ 和 $\sigma_{2}$，使得以下等式成立

写成矩阵形式 $AV=U \Sigma$

在等式 $AV=U \Sigma$ 两边同时乘上 $V^{-1}$ 可得 $A=U \Sigma V^{-1}$，由于 $V$ 是正交矩阵（各列向量相互垂直），所以 $V^{-1}=V^{T}$，则等式 $A=U \Sigma V^{-1}$ 可以写成 $A=U \Sigma V^{T}$ 就实现了奇异值分解

在求解（奇异值分解后的）各个矩阵时，通过对等式 $A=U \Sigma V^{T}$ 的变换，消去部分的矩阵，以降低求解的难度

• 求解矩阵 $V$ 时，可以在等式两边同时乘上 $A^{T}=V \Sigma^{T} U^{T}$$$A^{T}A=V \Sigma^{T} U^{T} U \Sigma V^{T}$$
  由于矩阵 $U$ 是正交矩阵，则 $U^{T}=U^{-1}$ 所以以上等式可以进一步化简$$\begin{aligned} A^{T}A&=V \Sigma^{T} U^{T} U \Sigma V^{T} \\ &=V \Sigma^{T} U^{-1} U \Sigma V^{T} \\ &=V \Sigma^{T} \Sigma V^{T} \end{aligned}$$
  由于矩阵 $\Sigma^{2 \times 2}$ 是对角矩阵（除了对角线上的元素，其他元素都是 $0$），则 $\Sigma=\Sigma^{T}$ 所以以上等式可以进一步化简$$\begin{aligned} A^{T}A&=V \Sigma^{T} \Sigma V^{T} \\ &=V \Sigma^{2} V^{T} \\ &=V \begin{bmatrix} \sigma_{1}^{2} & 0 \\ 0 & \sigma_{2}^{2} \end{bmatrix} V^{T} \end{aligned}$$
  由于 $A^{T}A$ 是对称矩阵，所以以上等式其实就是对称矩阵的对角化 $Q \Lambda Q^{T}$ 形式
  所以矩阵 $V$ 就是对称矩阵 $A^{T}A$ 的特征向量矩阵
• 求解矩阵 $U$ 时，类似地，可以通过构造矩阵 $AA^{T}$ 来消去矩阵 $V$，矩阵 $U$ 是对称矩阵 $AA^{T}$ 的特征向量矩阵
• 矩阵 $\Sigma^{2}$ 是对称矩阵 $A^{T}A$（或 $A^{T}A$）的特征值矩阵。
  所以矩阵 $\Sigma$ 是对角矩阵，其对角线上的元素是对称矩阵 $A^{T}A$（或 $A^{T}A$）的特征值矩阵对角线上元素的正平方根
  AB 与 BA 具有相同特征值

  矩阵 $\Sigma^{2}$ 是对称矩阵 $A^{T}A$ 或 $A^{T}A$ 的特征值矩阵，也就是说矩阵 $A^{T}A$ 与 $A^{T}A$ 具有相同的特征值。

  其中对于任意可逆矩阵 $B$，矩阵 $AB$ 与 $BA$ 都是具有相同特征值

  证明方法参考这一篇文章

  分别通过特征方程 $det(AB-\lambda I)=0$ 和 $det(BA-\lambda I)=0$ 求出矩阵 $AB$ 和 $BA$ 的所有特征值

  由于矩阵 $B$ 是可逆矩阵，所以存在 $B^{-1}$，且 $det(B^{-1}) \neq 0$

  根据行列式特性9可知 $det(AB-\lambda I)det(B^{-1})=det((AB-\lambda I)B^{-1})=det(A-\lambda B^{-1})$，同理可知 $det(B^{-1})det(BA-\lambda I)=det(B^{-1}(BA-\lambda I))=det(A-\lambda B^{-1})$

  所以 $det(AB-\lambda I)det(B^{-1})=det(A-\lambda B^{-1})=det(B^{-1})det(BA-\lambda I)$

  由于 $det(B^{-1}) \neq 0$ 所以 $det(AB-\lambda I)=det(BA-\lambda I)$ 所以对于任意满足特征方程 $det(AB-\lambda I)=0$ 的特征值 $\lambda_{i}$ 也满足特征方程 $det(BA-\lambda I)=0$ 即矩阵 $AB$ 与 $BA$ 具有相同的特征值

对于以上示例，矩阵 $A=\begin{bmatrix} 4 & 4 \\ -3 & 3 \end{bmatrix}$

• 通过构造对称矩阵 $A^{T}A$ 求解矩阵 $V$$$\begin{aligned} A^{T}A&= \begin{bmatrix} 4 & -3 \\ 4 & 3 \end{bmatrix} \begin{bmatrix} 4 & 4 \\ -3 & 3 \end{bmatrix} \\ &= \begin{bmatrix} 25 & 7 \\ 7 & 25 \end{bmatrix} \end{aligned}$$
  根据特征值和特征向量的定义，它们需要满足等式 $Ax=\lambda x$，观察矩阵 $A^{T}A=\begin{bmatrix} 25 & 7 \\ 7 & 25 \end{bmatrix}$ 的结构
  可知当 $x=\begin{bmatrix} 1 \\ 1 \end{bmatrix}$ 时，$Ax=\begin{bmatrix} 32 \\ 32 \end{bmatrix}$，可以提取该向量的因子 $32$ 可得$$\begin{aligned} Ax&= \begin{bmatrix} 25 & 7 \\ 7 & 25 \end{bmatrix} \begin{bmatrix} 1 \\ 1 \end{bmatrix} &=32 \begin{bmatrix} 1 \\ 1 \end{bmatrix} \end{aligned}$$
  所以特征值是 $32$
  同理，观察矩阵 $A^{T}A$ 的结构，可知当 $x=\begin{bmatrix} 1 \\ -1 \end{bmatrix}$ 时，$Ax=\begin{bmatrix} 18 \\ -18 \end{bmatrix}$，可以提取该向量的因子 $18$ 作为特征值
  将以上特征向量 $\begin{bmatrix} 1 \\ 1 \end{bmatrix}$ 和 $\begin{bmatrix} 1 \\ -1 \end{bmatrix}$ 进行标准化，可以得到一组正交基 $v_{1}=\begin{bmatrix} 1/ \sqrt{2} \\ 1/ \sqrt{2} \end{bmatrix}$ 和 $v_{2}=\begin{bmatrix} 1/ \sqrt{2} \\ -1/ \sqrt{2} \end{bmatrix}$ 它们构成矩阵 $V$
  矩阵 $A^{T}A$ 的特征值构成矩阵 $\Sigma$ 的平方$$\Sigma^{2}= \begin{bmatrix} \sigma_{1}^{2} & 0 \\ 0 & \sigma_{1}^{2} \end{bmatrix}= \begin{bmatrix} 32 & 0 \\ 0 & 18 \end{bmatrix}$$
  所以矩阵 $\Sigma$ 为$$\Sigma= \begin{bmatrix} 4 \sqrt{2} & 0 \\ 0 & 3 \sqrt{2} \end{bmatrix}$$
  提示

  也可以适用特征方程 $det(A^{T}A-\lambda I)=0$ 求解特征值

• 通过构造对称矩阵 $AA^{T}$ 求解矩阵 $U$$$\begin{aligned} AA^{T}&= \begin{bmatrix} 4 & 4 \\ -3 & 3 \end{bmatrix} \begin{bmatrix} 4 & -3 \\ 4 & 3 \end{bmatrix} \\ &= \begin{bmatrix} 32 & 0 \\ 0 & 18 \end{bmatrix} \end{aligned}$$
  同理，观察矩阵 $AA^{T}$ 的结构，可以直接找到满足 $Ax=\lambda x$ 的向量（和特征值），特征向量分别是 $u_{1}=\begin{bmatrix} 1 \\ 0 \end{bmatrix}$ 和 $u_{2}=\begin{bmatrix} 0 \\ 1 \end{bmatrix}$
  ⚠️ 但是考虑到前面所得的向量 $v_{2}=\begin{bmatrix} 1/ \sqrt{2} \\ -1/ \sqrt{2} \end{bmatrix}$ 则 $Av_{2}=\begin{bmatrix} 4 & 4 \\ -3 & 3 \end{bmatrix} \begin{bmatrix} 1/ \sqrt{2} \\ -1/ \sqrt{2} \end{bmatrix}= \begin{bmatrix} 0 \\ -3 \sqrt{2} \end{bmatrix}$ 而 $\sigma_{2}=3\sqrt{2}$ 是正数，那么对应地 $u_{2}$ 应该是负数，才可以让 $Av_{2}=\sigma_{2} u_{2}$ 成立，所以另一个特征向量应该取 $u_{2}=\begin{bmatrix} 0 \\ -1 \end{bmatrix}$

所以矩阵 $A$ 的奇异值分解形式为

对于不可逆（奇异）矩阵，则奇异值分解公式 $A=U \Sigma V^{T}$ 中，矩阵 $U$ 和 $V$ 会包含零空间和左零空间的标准正交基，在矩阵 $\Sigma$ 中对角线上的相应元素为 $0$

例如对于以下奇异矩阵 $A$

这个不可逆矩阵在行空间 row space 和列空间 column space 都只有一维，相应地零空间 nullspace 和左零空间 left nullspace 维度是 $1$

观察矩阵 $A$ 的结构可知，行空间可以只由（以列向量形式）$\begin{bmatrix} 4 \\ 3 \end{bmatrix}$ 向量张成；列空间可以只由 $\begin{bmatrix} 4 \\ 8 \end{bmatrix}$ 向量张成

由于行空间和列空间都只有一维，所以可以很方便地求出这些空间的正交基，只需要将以上向量转换为单位向量即可

对于行空间 $\begin{bmatrix} 4 \\ 3 \end{bmatrix}$ 变成单位向量 $v_{1}=\begin{bmatrix} 4/ \sqrt{4^{2}+3^{2}} \\ 3 / \sqrt{4^{2}+3^{2}} \end{bmatrix}=\begin{bmatrix} 4/5 \\ 3 /5\end{bmatrix}=\begin{bmatrix} 0.8 \\ 0.6 \end{bmatrix}$

对于列空间，同理将 $\begin{bmatrix} 4 \\ 8 \end{bmatrix}$ 变成单位向量 $u_{1}=\begin{bmatrix} 1/\sqrt{5} \\ 2/\sqrt{5} \end{bmatrix}$

由于零空间 nullspace 与行空间 row space 这两个子空间正交 orthogonal，所以这两个空间的向量均相互垂直，则通过行空间的正交基，可以很方便地求出零空间的正交基 $\begin{bmatrix} 0.6 \\ -0.8 \end{bmatrix}$，作为 $v_{2}$

同理可以求出左零空间 left nullspace 的正交基 $\begin{bmatrix} 2/\sqrt{5} \\ -1/\sqrt{5} \end{bmatrix}$，作为 $u_{2}$

而求解矩阵 $\Sigma$ 时，可以构造任意一个对称矩阵（$A^{T}A$ 或 $AA^{T}$）

由于矩阵 $A^{T}A$ 不满秩（第一行向量与第二行向量线性相关），它的秩 rank 为 $1$，所以它必然由一个特征值为零 $\lambda_{1}=0$，再根据特征值之和为矩阵的迹 $\lambda_{1}+\lambda_{2}=80+45=125$ 所以另一个特征值为 $\lambda_{2}=125$

则矩阵 $\Sigma$ 为

则可逆矩阵 $A$ 的奇异值分解为

对于一般矩阵（可能是可逆矩阵），奇异值分解 $A=U \Sigma V^{T}$ 的作用是通过矩阵 $A$ 将向量 $v_{i}$ 线性变换为向量 $u_{i}$，该操作将四个基本子空间联系起来了

其中这些向量是位于四个基本子空间的正交基：

• 向量 $v_{1}, v_{2}, \dots v_{r}$ 是行空间的标准正交基（行空间的维度是 $r$），而向量 $v_{r+1}, \dots v_{n}$ 是零空间的标准正交基（零空间的维度是 $n-r$）
• 向量 $u_{1}, u_{2}, \dots u_{r}$ 是列空间的标准正交基（列空间的维度是 $r$），而向量 $u_{r+1}, \dots u_{m}$ 是左零空间的标准正交基（左零空间的维度是 $m-r$）