在直角平面坐标系中，将向量 $b$ 投影到由向量 $a$ 所指定的直线上，就是指在直线上寻找一个点，使得它与向量 $b$ 的端点最近。

那么从直角坐标系的原点到这个点所代表的向量 $p$，就是向量 $b$ 在直线上的投影

而由它们的差所得的向量 $e=b-p$ 就称为误差

投影结果向量 $p$ 在直线上，所以可以用向量 $a$（的倍数）表示为 $p=xa$

根据几何性质（点到直线的距离，即过这一点做目标直线的垂线，由这一点至垂足的距离），误差向量 $e$ 与向量 $a$ 正交/垂直，根据向量正交的性质可知它们的乘积 $ea=0$

以矩阵的形式表示

其中向量 $a$ 和向量 $e$ 都是列向量

化简以上等式，由于在 $xa^{T}a=a^{T}b$ 等式中，根据向量相乘的规则可知 $a^{T}a$ 两个向量相乘的结果是一个数字（标量），所以可以进一步进行化简，最终求解得到系数 $x$ 的值为

则投影结果向量 $p=xa$ 也可以写作 $p=ax$（因为 $x$ 是系数，改变它与向量相乘的顺序不会影响结果）为

观察投影结果向量的构成式子（由向量 $a$ 及其转置和向量 $b$ 构成）可以得到以下特点：

• 当向量 $b$ 改变时投影结果向量 $p$ 也会随之改变，例如将向量 $b$ 增大为原来的 2 倍，则投影也会改为 2 倍
• 当向量 $a$ 改变时投影结果向量 $p$ 并不会改变（该变动由于分式上下都存在 $a$ 向量而相互「抵消」）

结合几何图形更容易理解，即将向量 $b$ 的模长增长，那么它的投影也会变长；而改变向量 $a$ 的模长，并不会影响其指定的直线，即投影位置并不变，所以投影向量也不变。

观察投影结果向量 $\displaystyle{p=a\frac{a^{T}b}{a^{T}a}=\frac{aa^{T}}{a^{T}a}b}$ 其结构就像是一个矩阵作用于向量 $b$ 使其映射到向量 $a$ 上，得到投影结果 $p$（小写），那么这个矩阵称为投影矩阵 $P$（大写）

则投影矩阵 $P$ 的值为

当投影矩阵 $\displaystyle{P=\frac{aa^{T}}{a^{T}a}}$ 作用于向量 $b$ 时（即与向量相乘 $Pb$，得到投影结果向量 $p$），以矩阵与列向量相乘的角度来考虑，$Pb$ 就是矩阵 $P$ 的各列按照 $b$ 进行线性组合，所以得到的结果向量 $p$ 实际在投影矩阵的列空间 $C(P)$ 中。

因此对于任意向量 $b$ 所对应的一系列 $Pb$ 值就构成矩阵 $P$ 的列空间，由于投影都会在（由向量 $a$ 所指定的）直线上，所以矩阵 $P$ 的列空间 $C(P)$ 的维度就是 $1$，即秩 $rank=1$，而且向量 $a$ 是该空间的一个基。

投影矩阵 $P$ 具有以下特性：

• $P^{T}=P$ 投影矩阵是对称矩阵
  证明

  投影矩阵 $\displaystyle{P=\frac{aa^{T}}{a^{T}a}}$ 的式子中，分母两个元素相乘的结果是一个数字，所以考虑分子的 $aa^{T}$ 是否为对称矩阵即可

  $$\begin{aligned} P^{T}&=(\frac{aa^{T}}{a^{T}a})^{T} \\ &=\frac{(a^{T})^{T}a^{T}}{a^{T}a} \\ &=\frac{aa^{T}}{a^{T}a} \\ &=P \end{aligned}$$

  所以投影矩阵 $P$ 是对称矩阵

• $P^{2}=P$ 投影矩阵的平方等于其自身
  证明

  因为 $Pb$ 的作用是将向量 $b$ 投影到向量 $a$ 所在的直线上，那么投影结果向量 $p$ 就在该直线上。

  如果再将所得的向量投影到 $a$ 所在的直线上 $Pp$，因为 $p$ 本来就在直线上，所以（二次投影）结果依然得到第一次投影的结果向量，即 $Pp=P(Pb)=P^{2}b=Pb$

将投影的目标对象维度提高，由直线变成平面（即从向量变成矩阵），以探究更高维度的投影规律。

平面 $A$ 由向量 $a_{1}$ 和向量 $a_{2}$ 张成。向量 $b$ 并不在平面上，将该向量投影到平面上，投影结果向量是 $p$。

由于平面是由（列向量）向量 $a_{1}$ 和向量 $a_{2}$ 构成的，所以可以用一个矩阵来表示 $A=\begin{bmatrix} a_{1} & a_{2} \end{bmatrix}$。

由于向量 $b$ 的投影向量 $p$ 在平面上，所以投影向量可以用基向量来表示，即 $p=\hat{x_{1}}a_{1}+\hat{x_{2}}a_{2}$，也可以写成矩阵形式 $p=A\hat{x}$

那么误差向量 $e=b-p$ 就是 $e=b-A\hat{x}$，因为误差向量与平面垂直，所以误差向量 $e$ 也分别和该平面的一组基向量 $a_{1}$、$a_{2}$ 正交，那么与它们的内积就是零，所以可以得到一组等式

其中向量 $a_{1}$、$a_{2}$、$e$、$b$ 都是列向量

将以上的一组等式写成矩阵形式

可简化为 $A^{T}(b-A\hat{x})=0$

化简以上等式 $A^{T}(b-A\hat{x})=0$ 得到 $A^{T}A\hat{x}=A^{T}b$

进一步求解可得系数 $\hat{x}$ 的值为

则投影结果向量 $p$ 为

那么投影矩阵 $P$（大写）就是

以上式子一般都不可以再进一步化简

和投影到直线的投影向量一样，投影到平面的投影矩阵 $P$ 同样具有以下特性：

• $P^{T}=P$
  证明

  投影矩阵是对称矩阵

  由于在 $A(A^{T}A)^{-1}A^{T}$ 中，$A^{T}A$ 本身就是一个 $n \times n$ 的对称矩阵，再根据相乘矩阵的转置的规则可以得到

  $$(A(A^{T}A)^{-1}A^{T})^{T}=(A^{T})^{T}(A^{T}A)^{-1}A^{T}=A(A^{T}A)^{-1}A^{T}$$

  该式子的转置与其本身相等，所以投影矩阵 $P$ 是一个对称矩阵

• $P^{2}=P$
  证明

  投影矩阵的平方等于其自身

  可以从几何的角度来考虑，连续的两次投影的投影结果不变（因为第一次投影得到的向量就在目标空间中，而对目标空间中的向量进行投影，得到的结果等于其自身）

  通过等式也可以证明

  $$\begin{aligned} P^{2}&=[A(A^{T}A)^{-1}A^{T}][A(A^{T}A)^{-1}A^{T}] \\ &=A(A^{T}A)^{-1}{\color{Red} A^{T}A(A^{T}A)^{-1}}A^{T} \end{aligned}$$

  其中红色标记的部分的乘积为单位矩阵 $I$，所以最后可以得到

  $$P^{2}=A(A^{T}A)^{-1}A^{T}=P$$

对于方程组 $Ax=b$ 一般等式的数量都比较多，即系数矩阵 $A$ 是一个长方形矩阵，这种情况下方程组一般是无解的，因为 $Ax$ 的结果是在 $A$ 的列空间中，但是 $b$ 则不一定在列空间 $C(A)$ 中。

此时可以「改变」$b$，通过最小的变动得到 $p$，使得 $p$ 是在列空间 $C(A)$ 中，则对于 $A\hat{x}=p$ 方程组，其解 $\hat{x}$ 就是最优解

这里的关键是怎最小的变动去「改变」 $b$ 得到 $p$，其实就是通过投影的方式，即向量 $p$ 就是向量 $b$ 在矩阵 $A$ 的列空间 $C(A)$ 的投影

课堂上介绍了一个使用场景：通过最小二乘法 Least Squared Fitting by a Line 求出一条直线，用于拟合一系列的点

上图有三个点 $(1, 1)$、$(2, 2)$、$(3, 2)$ 使用一条直线 $b=c+Dt$ 对它们进行拟合，即求出 $C$ 和 $D$ 使得直线尽可能地接近这三个数据点

先假设这三个点都经过直线，将它们分别带入直线方程，可以得到一个方程组

以矩阵形式表示

但是实际上以上的方程组是无解的（可以通过化简或观察几何图像来判断，即无法找到一条直线完全经过 3 个点）

可以在等式两边乘上 $A^{T}$ 使得系数矩阵方阵，则新的方程组可能有解（该解 $\hat{x}$ 就是原方程组的 $x$ 最优解）