L16-投影矩阵与最小二乘法-习题集

参考

Unit II: Least Squares, Determinants and Eigenvalues - Projection Matrices and Least Squares - Check Yourself
题源：Problem: Exercises on projection matrices and least squares | pdf
参考答案：Solutions: Exercises on projection matrices and least squares | pdf

问题 16.1

已知 $(-1, 7)$ 、 $(1, 7)$ 、 $(2, 21)$ 三个点，使用直线 $b=C+Dt$ 来拟合它们，使用最小二乘法求解 $\hat{x}=(C, D)$ 最佳拟合直线

解答

将三个点代入直线，可以得到方程组

\left\{\begin{matrix} C-D=7 \\ C+D=7 \\ C+2D=21 \end{matrix}\right.

提示

尝试求解，会发现方程组并无解，所以只能采用直线来拟合它们

将方程组写成矩阵形式

\begin{aligned} Ax&=b \\ \begin{bmatrix} 1 & -1 \\ 1 & 1 \\ 1 & 2 \end{bmatrix} \begin{bmatrix} C \\ D \end{bmatrix} &=\begin{bmatrix} 7 \\ 7 \\ 21 \end{bmatrix} \end{aligned}

在等式两侧乘上 $A^{T}$ 可得

\begin{aligned} A^{T}Ax&=A^{T}b \\ \begin{bmatrix} 1 & 1 & 1 \\ -1 & 1 & 2 \end{bmatrix} \begin{bmatrix} 1 & -1 \\ 1 & 1 \\ 1 & 2 \end{bmatrix} \begin{bmatrix} C \\ D \end{bmatrix} &= \begin{bmatrix} 1 & 1 & 1 \\ -1 & 1 & 2 \end{bmatrix} \begin{bmatrix} 7 \\ 7 \\ 21 \end{bmatrix} \\ \begin{bmatrix} 3 & 2 \\ 2 & 6 \end{bmatrix} \begin{bmatrix} C \\ D \end{bmatrix} &= \begin{bmatrix} 35 \\ 42 \end{bmatrix} \end{aligned}

将矩阵写成相应的方程组

\left\{\begin{matrix} 3C+2D=35 \\ 2C+6D=42 \end{matrix}\right.

解得

\left\{\begin{matrix} C=9 \\ D=4 \end{matrix}\right.

所以直线是 $y=9+4t$

问题 16.2

基于上一个问题，求出投影结果向量 $p=A\hat{x}$ ，并证明误差向量是 $e=\begin{bmatrix}2 \\ -6 \\ 4\end{bmatrix}$ 以及证明 $Pe=0$ （其中 $P$ 是投影矩阵）

解答

在上一问中求得直线是 $y=9+4t$ ，所以可以求出 $(-1, 7)$ 、 $(1, 7)$ 、 $(2, 21)$ 在直线上的相应点

\left\{\begin{matrix} p_{1}=9+4 \times (-1)=5 \\ p_{2}=9+4 \times 1=13 \\ p_{3}=9+4 \times 2=17 \end{matrix}\right.

所以投影向量是 $p=\begin{bmatrix}5 \\13 \\17\end{bmatrix}$

则可以求出各点的误差

\left\{\begin{matrix} e_{1}=7-5=2 \\ e_{2}=7-13=-6 \\ e_{3}=21-17=4 \end{matrix}\right.

所以误差向量是 $e=\begin{bmatrix}2 \\-6 \\4\end{bmatrix}$

提示

也可以用矩阵运算来求解

\begin{aligned} p&=A\hat{x} \\ &=A\begin{bmatrix} C \\ D \end{bmatrix} \\ &=\begin{bmatrix} 1 & -1 \\ 1 & 1 \\ 1 & 2 \end{bmatrix} \begin{bmatrix} 9 \\ 4 \end{bmatrix} \\ &=\begin{bmatrix} 5 \\ 13 \\ 17 \end{bmatrix} \end{aligned}

\begin{aligned} e&=b-p \\ &=\begin{bmatrix} 7 \\ 7 \\ 21 \end{bmatrix}- \begin{bmatrix} 5 \\ 13 \\ 17 \end{bmatrix} \\ &=\begin{bmatrix} 2 \\ -6 \\ 4 \end{bmatrix} \end{aligned}

由于误差向量满足 $e=b-p$

所以得到以下等式，其中 $P$ 为投影矩阵

\begin{aligned} Pe=Pb-Pp \end{aligned}

投影矩阵 $P$ 作用于向量 $b$ 结果是向量 $p$ ；而由于投影结果向量 $p$ 本来就在列空间 $C(A)$ 中，所以使用投影矩阵 $P$ 将其再投影到列空间，结果还是其本身，即 $Pp=p$

因此以上的等式可以化简为

\begin{aligned} Pe&=Pb-Pp \\ &=p-p \\ &=0 \end{aligned}

问题 16.3

上一题求出的误差向量是 $e=\begin{bmatrix}2 \\-6 \\4\end{bmatrix}$ 如果与向量 $b=\begin{bmatrix}2 \\-6 \\4\end{bmatrix}$ 相同，则向量 $b$ 与哪个子空间垂直，造成投影矩阵 $p=0$

解答

如果向量 $b$ 等于分量 $e$ ，即表示向量 $b$ 完全属于左零空间 $N(A^{T})$ ，所以向量 $b$ 垂直于列空间 $C(A)$

问题 16.4

假设当横坐标值为 $t=-1, 1, 2$ 时，对应的纵坐标值为 $b=(5, 13, 17)$ ，求出最佳拟合直线，以及误差向量 $e$ 。最后会求得 $e=0$ 这时因为向量 $b$ 在哪个空间中

解答

根据题意，得到以下等式并求解

\begin{aligned} A^{T}Ax&=A^{T}b \\ \begin{bmatrix} 1 & 1 & 1 \\ -1 & 1 & 2 \end{bmatrix} \begin{bmatrix} 1 & -1 \\ 1 & 1 \\ 1 & 2 \end{bmatrix} \begin{bmatrix} C \\ D \end{bmatrix} &= \begin{bmatrix} 1 & 1 & 1 \\ -1 & 1 & 2 \end{bmatrix} \begin{bmatrix} 5 \\ 13 \\ 17 \end{bmatrix} \\ \begin{bmatrix} 3 & 2 \\ 2 & 6 \end{bmatrix} \begin{bmatrix} C \\ D \end{bmatrix} &= \begin{bmatrix} 35 \\ 42 \end{bmatrix} \end{aligned}

解得

\left\{\begin{matrix} C=9 \\ D=4 \end{matrix}\right.

所以直线为 $y=9+4t$

由 $e=b-p$ 可以知道误差向量 $e$ 是零向量，也就是说数据点 $(-1, 5)$ 、 $(1, 13)$ 、 $(2, 17)$ 正好都在直线上，即向量 $b$ 在列空间 $C(A)$ 中

问题 16.5

误差向量 $e$ 、投影结果向量 $p$ 、由直线的系数 $\hat{x}$ 所组成的向量，这三者分别位于矩阵 $A$ 的哪个子空间中。求矩阵 $A$ 的零空间

误差向量 $e$ 位于左零空间 $N(A)$ ，是向量 $b$ 在该空间的投影（分量）；投影结果向量 $p$ 位于列空间 $C(A)$ ，是向量 $b$ 在该空间的投影（分量）；向量 $\hat{x}$ 在行空间 $C(A^{T})$

解释

由于矩阵 $A=\begin{bmatrix} 1 & -1 \\ 1 & 1 \\ 1 & 2\end{bmatrix}$ 行满秩，所以行空间包含整个二维空间 $C(A^{T})=\mathbb{R}^{2}$ ，所以 $\hat{x}=\begin{bmatrix}C \\ D\end{bmatrix}$ 在 $\mathbb{R}^{2}$ 空间中，也就是在行空间中

由于矩阵 $A$ 各列向量是线性独立的，所以使得 $Ax=0$ 成立的未知量取值只能是零向量，所以矩阵 $A$ 的零空间是 $\{0\}$

问题 16.6

假设当横坐标值为 $t=-2, -1, 0, 1, 2$ 时，对应的纵坐标值为 $b=(4, 2, -1, 0, 0)$ ，求出最佳拟合直线

解答

根据题意，得到以下等式并求解

\begin{aligned} A^{T}Ax&=A^{T}b \\ \begin{bmatrix} 1 & 1 & 1 & 1 & 1 \\ -2 & -1 & 0 & 1 & 2 \end{bmatrix} \begin{bmatrix} 1 & -2 \\ 1 & -1 \\ 1 & 0 \\ 1 & 1 \\ 1 & 2 \end{bmatrix} \begin{bmatrix} C \\ D \end{bmatrix} &= \begin{bmatrix} 1 & 1 & 1 & 1 & 1 \\ -2 & -1 & 0 & 1 & 2 \end{bmatrix} \begin{bmatrix} 4 \\ 2 \\ -1 \\ 0 \\ 0 \end{bmatrix} \\ \begin{bmatrix} 5 & 0 \\ 0 & 10 \end{bmatrix} \begin{bmatrix} C \\ D \end{bmatrix} &= \begin{bmatrix} 5 \\ -10 \end{bmatrix} \end{aligned}

解得

\left\{\begin{matrix} C=-1 \\ D=1 \end{matrix}\right.

所以直线为 $y=1-t$