L15-子空间投影-习题集

参考

问题 15.1

将单位矩阵 $I_{4 \times 4}$ 最后一列去掉构成矩阵 $A_{4 \times 3}$

A= \begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \\ 0 & 0 & 0 \end{bmatrix}

将向量 $b=\begin{bmatrix} 1 \\ 2 \\ 3 \\ 4 \end{bmatrix}$ 投影到该矩阵的列空间中，并求出投影矩阵 $P$ 的形状和具体的值。

由于要将一个维度为 $4$ 的向量（由 $4$ 个元素组成） $b$ 投影成为另一个维度也为 $4$ 的向量 $Pb$ ，所以投影矩阵 $P$ 是一个 $4 \times 4$

根据投影矩阵的公式可得

\begin{aligned} P&=A(A^{T}A)^{-1}A^{T} \\ &= \begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \\ 0 & 0 & 0 \end{bmatrix} (\begin{bmatrix} 1 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \end{bmatrix} \begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \\ 0 & 0 & 0 \end{bmatrix})^{-1} \begin{bmatrix} 1 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \end{bmatrix} \\ &= \begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \\ 0 & 0 & 0 \end{bmatrix} (\begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{bmatrix})^{-1} \begin{bmatrix} 1 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \end{bmatrix} \\ &= \begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \\ 0 & 0 & 0 \end{bmatrix} \begin{bmatrix} 1 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \end{bmatrix} \\ &= \begin{bmatrix} 1 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 \end{bmatrix} \end{aligned}

解释

如果一个完整的 $\mathbb{R}^{4}$ 空间的维度是包含 $wxyz$ 轴，那么矩阵 $A$ 的列空间就只具有描述 $wxy$ 轴的能力，即该空间中的向量 $z$ 轴的值都是 $0$

因此要将一个 $4$ 维的向量 $b=(w, x, y, z)$ 投影到该空间时，需要「抹去」 $z$ 轴的值，那么以上求出的投影矩阵 $P$ ，观察其结构，最后一列的元素都是 $0$ ，就是实现该作用的。

投影结果向量为

\begin{aligned} p&=Pb \\ &= \begin{bmatrix} 1 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 \end{bmatrix} \begin{bmatrix} 1 \\ 2 \\ 3 \\ 4 \end{bmatrix} \\ &= \begin{bmatrix} 1 \\ 2 \\ 3 \\ {\color{Red} 0} \end{bmatrix} \end{aligned}

如果矩阵 $P$ 满足 $P^2=P$ 证明 $(I-p)^{2}=I-P$ （其中 $I$ 是单位矩阵）

如果矩阵 $A$ 和矩阵 $P$ 沿用上一题的值，那么矩阵 $P$ 的作用是将向量投影到矩阵 $A$ 的列空间中，那么矩阵 $I-P$ 的作用是将向量投影到矩阵 $A$ 的哪个空间中呢？

\begin{aligned} (I-P)^{2}&=I^{2}-IP-PI+P^{2} \end{aligned}

由于一个矩阵与单位矩阵 $I$ 相乘仍等于其自身，且 $P^{2}=P$

所以以上等式可以化简为

\begin{aligned} (I-P)^{2}&=I^{2}-IP-PI+P^{2} \\ &=I-2P+P \\ &=I-P \end{aligned}

如果矩阵 $A$ 和矩阵 $P$ 沿用上一题的值，则 $I-P$ 的具体值为

I-P= \begin{bmatrix} 1 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 1 \end{bmatrix}- \begin{bmatrix} 1 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 \end{bmatrix}= \begin{bmatrix} 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 1 \end{bmatrix}

解释

结合上一题对于投影矩阵 $P$ 的解释，来理解 $I-P$ 的结构，如果使用该投影矩阵，那么向量就只保留了 $z$ 轴（一个维度）的信息，刚好与上一题的投影矩阵 $P$ 的作用互补（它是只保留 $wxy$ 轴，三个维度的信息）

而上一题的投影矩阵 $P$ 的作用是将向量投影到矩阵 $A$ 的列空间 $C(A)$ 中，再根据矩阵的四个子空间的正交关系，可以知道列空间 $C(A)$ 和左零空间 $N(A^{T})$ 正交，它们构成了 $n$ 维空间的==正交补==

所以结合以上的这些分析，可以知道投影矩阵 $I-P$ 的作用是将向量投影到矩阵 $A$ 的左零空间 $N(A^{T})$ 中

投影矩阵 $I-P$ 将向量投影到矩阵 $A$ 的左零空间中