L30-奇异值分解-习题集

参考

Unit III: Positive Definite Matrices and Applications - Singular Value Decomposition - Check Yourself
题源：Problem: Exercises on singular value decomposition | pdf
参考答案：Solutions: Exercises on singular value decomposition | pdf

问题 29.1

请确认在 Fibonacci matrix 斐波那契矩阵 $A=\begin{bmatrix} 1 & 0 \\ 1 & 0 \end{bmatrix}$ 的奇异值分解的公式中 $A=U \Sigma V^{T}$ ，矩阵 $\Sigma$ 是 $\begin{bmatrix}\cfrac{1+\sqrt{5}}{2} & 0 \\ 0 & \cfrac{\sqrt{5}-1}{2} \end{bmatrix}$

解答

通过构造矩阵 $A^{T}A$ （或矩阵 $AA^{T}$ ）并求出其特征值，可以验证矩阵 $\Sigma$ 是否符合题设

\begin{aligned} A^{T}A&= \begin{bmatrix} 1 & 0 \\ 1 & 0 \end{bmatrix} \begin{bmatrix} 1 & 0 \\ 1 & 0 \end{bmatrix} \\ &= \begin{bmatrix} 2 & 1 \\ 1 & 1 \end{bmatrix} \end{aligned}

通过求解特征方程 $det(A^{T}A-\lambda I)=0$ 得到所有特征值

\begin{aligned} det(A^{T}A-\lambda I)&=0 \\ &\Downarrow \\ \begin{vmatrix} 2-\lambda & 1 \\ 1 & 1-\lambda \end{vmatrix}&=0 \\ &\Downarrow \\ (2-\lambda)(1-\lambda)-1^{2}&=0 \\ &\Downarrow \\ \lambda^{2}-3 \lambda+1&=0 \end{aligned}

解得 $\lambda=\cfrac{3\pm \sqrt{5}}{2}$ ，即 $\sigma_{1}^{2}=\cfrac{3+\sqrt{5}}{2}$ 和 $\sigma_{2}^{2}=\cfrac{3-\sqrt{5}}{2}$

由于矩阵 $\Sigma$ 为

\Sigma= \begin{bmatrix} \cfrac{1+\sqrt{5}}{2} & 0 \\ 0 & \cfrac{\sqrt{5}-1}{2} \end{bmatrix}= \begin{bmatrix} \sigma_{1} & 0 \\ 0 & \sigma_{2} \end{bmatrix}

将以上矩阵中的元素 $\sigma_{1}$ 和 $\sigma_{2}$ 进行平方，以验证是否符合题设

\sigma_{1}^{2}=(\cfrac{1+\sqrt{5}}{2})^{2}=\cfrac{1+2\sqrt{5}+5}{4}=\cfrac{3+\sqrt{5}}{2} {\color{Green}\checkmark }

\sigma_{2}^{2}=(\cfrac{\sqrt{5}-1}{2})^{2}=\cfrac{5-2\sqrt{5}+1}{4}=\cfrac{3-\sqrt{5}}{2} {\color{Green}\checkmark }

问题 29.2

假设矩阵 $A$ 的列向量 $w_{1}, w_{2}, \dots w_{n}$ 是正交向量，它们的模长分别是 $\sigma_{1}, \sigma_{2}, \dots \sigma_{n}$ 。请计算矩阵 $A^{T}A$ 。并求出矩阵 $A$ 的奇异值分解形式中，各矩阵 $U, \Sigma, V$ 分别是什么

解答

已知矩阵 $A=\begin{bmatrix} w_{1} & w_{2} & \dots & w_{n} \end{bmatrix}$

则矩阵 $A^{T}A$ 的表达式是

\begin{aligned} A^{T}A&= \begin{bmatrix} w_{1}^{T} \\ w_{2}^{T} \\ \vdots \\ w_{n}^{T} \end{bmatrix} \begin{bmatrix} w_{1} & w_{2} & \dots & w_{n} \end{bmatrix} \\ &= \begin{bmatrix} w_{1}^{T}w_{1} & w_{1}^{T}w_{2} & \dots & w_{1}^{T}w_{n} \\ w_{2}^{T}w_{1} & w_{2}^{T}w_{2} & \dots & w_{2}^{T}w_{n} \\ \vdots & \vdots & \ddots & \vdots \\ w_{n}^{T}w_{1} & w_{n}^{T}w_{1} & \dots & w_{n}^{T}w_{n} \end{bmatrix} \end{aligned}

由于矩阵 $A$ 的列向量 $w_{1}, w_{2}, \dots w_{n}$ 是正交向量，所以满足

w_{i}^{T}w_{j}=\begin{cases} 0, & if \ i \ne j \\ \Vert w_{i} \Vert^{2}=\sigma_{i}^{2}, & if \ i = j \end{cases}

所以矩阵 $A^{T}A$ 为

A^{T}A= \begin{bmatrix} \sigma_{1}^{2} & 0 & \dots & 0 \\ 0 & \sigma_{2}^{2} & \dots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \dots & \sigma_{n}^{2} \end{bmatrix}

根据奇异值分解公式，可知在等式 $A^{T}A=V \Sigma^{2} V^{T}$ 中矩阵 $\Sigma$ 为对角矩阵，所以 $\Sigma^{2}$ 也是对角矩阵，而根据前面的计算结果可知矩阵 $A^{T}A$ 也是对称矩阵

所以矩阵 $\Sigma^{2}$ 和 $A^{T}A$ 相同，则矩阵 $\Sigma$ 为

\Sigma= \begin{bmatrix} \sigma_{1} & 0 & \dots & 0 \\ 0 & \sigma_{2} & \dots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \dots & \sigma_{n} \end{bmatrix}

那么矩阵 $V$ （和矩阵 $V^{T}$ ）就是单位矩阵 $V=I$

根据奇异值分解的公式 $A=U \Sigma V^{T}$ 以及前面所求的的矩阵 $\Sigma$ 和 $V$ 的值，可知矩阵 $U$ 的各列向量为 $\cfrac{1}{\sigma_{i}}w_{i}$