投影到矩阵 $A$ 的列空间的投影矩阵的通用公式为 $P=A(A^{T}A)^{-1}A^{T}$

由于这里是投影到一条直线/向量 $a$ 上，所以以上公式中的 $(A^{T}A)^{-1}$ 其结果是一个常数

所以投影矩阵为

投影矩阵 $P$

观察可知矩阵的各列向量都是线性相关的，所以它的秩为 $rank=1$（主元数量）

投影矩阵 $P$

观察可知矩阵 $P$ 的第一个列向量（和第三个列向量）都可以看作是由第二个列向量乘上某个倍数得到，所以矩阵的列空间可以是由该向量 $\begin{bmatrix} 2 \\ 1 \\ 2 \end{bmatrix}$ 张成的

而该向量就是 $a$ 向量，所以矩阵的列空间就是向量 $a$ 所在的直线

由「解答一」可知矩阵 $P$ 的秩为 $rank=1$ 则它的零空间的维度是 $n-r=3-1=2$

即对于方程 $Px=0$ 有两个（非零）解/向量，它们是相互线性独立的，可以张成零空间（相应地零空间维度是 $2$）

而根据特征向量的定义，可知方程 $Px=0$ 的解就是特征值为 $\lambda=0$ 时的特征向量，由于 $Px=0$ 有两个解，它们所对应的特征值都为 $0$，所以已知矩阵 $P$ 含有两个相同的特征值 $\lambda_{1}=\lambda_{2}=0$

由于 $P_{3 \times 3}$ 有 $3$ 个特征值，再利用矩阵的迹 $trace=\lambda_{1}+\lambda_{2}+\lambda_{3}=\cfrac{1}{9}(4+1+4)$ 可以求出余下的一个特征值为 $\lambda_{3}=1$

当特征值为 $\lambda=1$ 时，通过求解方程 $(P-\lambda I)x=0$ 得到相应的特征向量

由于投影矩阵 $P$ 的作用是将任意向量投影到向量 $a$ 所在的直线上，如果向量本来就在该直线是（即向量与 $a$ 共线），则投影的结果向量等于其自身，即 $Pa=a$

即向量 $a$ 可以使得 $Pa=a$ 等式成立

而根据特征向量和特征值的定义，则向量 $a$ 就是特征值 $\lambda=1$ 所对应的特征向量

根据递推关系式 $u_{k+1}=Pu_{k}$ 可知

由于 $u_{1}=3a$ 所以向量 $u_{1}$ 在向量 $a$ 所在的直线上

根据递推公式可得 $u_{2}=Pu_{1}$ 所以 $u_{2}$ 就是 $u_{1}$ 投影到向量 $a$ 所在的直线上的投影结果向量。由于向量 $u_{1}$ 已经在向量 $a$ 所在的直线上，所以投影结果向量是其自身，即 $u_{2}=Pu_{1}=u_{1}$

依此类推，可知 $u_{k}=Pu_{k-1}=u_{1}$

所以当 $k=0$ 时，$u_{0}=\begin{bmatrix} 9 \\ 9 \\ 0 \end{bmatrix}$；当 $k>0$ 时 $u_{k}=u_{1}=3a=\begin{bmatrix} 6 \\ 3 \\ 6 \end{bmatrix}$

将各个数据点代入直线可得

将方程组写成矩阵形式（$Ax=b$ 的形式）

由于以上方程无解，需要进行变换，在方程等式两边乘上 $A^{T}$ 可得

即 $D=\cfrac{19}{7}$ 所以拟合直线是 $y=\cfrac{19}{7}t$

从平面几何的角度看，最小二乘法是让数据点到拟合直线的距离最小；从矩阵的角度看，最小二乘法是将原本无解的方程 $Ax=b$ 其右边的向量 $b$ 投影到系数矩阵 $A$ 的列空间中（投影结果向量为 $p$），使得方程变成 $A\hat{x}=p$ 可以有解

使用 Gram-Schmidt 正交化来求解正交向量

1. 假设其中一个正交向量为 $A=a_{1}=\begin{bmatrix} 1 \\ 2 \\ 3 \end{bmatrix}$
2. 另一个正交向量为 $B$ 是向量 $a_{2}$ 在向量 $A$ 的垂直方向上的分量

特征值满足 $\lambda_{i}\ne 0$ 时，矩阵 $A$ 是可逆的

由于当矩阵 $A$ 是可逆矩阵，则表示矩阵的各列向量相互线性独立，即 $Ax=0$ 是无解，所以 $0$ 不会是矩阵 $A$ 的特征值

由于逆矩阵与原矩阵的的特征值存在倒数关系，即矩阵 $A^{-1}$ 的特征值为 $\cfrac{1}{\lambda_{1}}$、$\cfrac{1}{\lambda_{2}}$、$\cfrac{1}{\lambda_{3}}$、$\cfrac{1}{\lambda_{4}}$

根据矩阵的特征值和行列式的关系可得，逆矩阵的行列式为 $detA^{-1}=(\cfrac{1}{\lambda_{1}})(\cfrac{1}{\lambda_{2}})(\cfrac{1}{\lambda_{3}})(\cfrac{1}{\lambda_{4}})$

矩阵的迹为 $trace(A)=\lambda_{1}+\lambda_{2}+\lambda_{3}+\lambda_{4}$ 也等于矩阵对角线上元素之和

矩阵 $A+I$ 是原矩阵 $A$ 偏移 shift $I$ 一个单位矩阵，而从矩阵的具体元素而言，是在原矩阵 $A$ 的每个对角线上的元素都加上 $1$（在矩阵 $A$ 的对角线上共有 $4$ 个元素）

所以矩阵 $A+I$ 的迹为原矩阵 $A$ 的迹之间的关系为 $trace(A+I)=trace(A)+4=\lambda_{1}+\lambda_{2}+\lambda_{3}+\lambda_{4}+4$

使用代数余子式求解三对角矩阵 $A_{n}$ 的行列式 $D_{n}$，以 $A_{4}$ 为例

对于以上等式的第二项 $-$D_{3}$$ 可以继续使用代数余子式进行分解

所以等式 $D_{n}=aD_{n-1}+bD_{n-2}$ 中的系数为 $a=1$、 $b=-1$

基于差分方程 $D_{n}=D_{n-1}-D_{n-2}$ 构成一个方程组

将以上方程组写出矩阵形式

令 $u_{n}=\begin{bmatrix} D_{n} \\ D_{n-1} \end{bmatrix}$ 所以方程组可以写成 $u_{n}=Au_{n-1}$ 形式，将二阶差分方程转换为一阶差分方程

对于形如 $u_{k}=Au_{k-1}$ 的差分方程，其通式为 $u_{k}=c_{1}\lambda_{1}^{k}x_{1}+c_{2}\lambda_{2}^{k}x_{3}+\dots +c_{n}\lambda_{n}x_{n}$

所以需要先求出系数矩阵 $A$ 的所有特征值 $\lambda_{i}$ 和特征向量 $x_{i}$，再利用 $u_{0}=c_{1}x_{1}+\dots +c_{n}x_{n}$ 求出系数 $c_{i}$

通过求解特征方程 $det(A-\lambda I)=0$ 可以得到所有特征值

解得 $\lambda=\cfrac{1\pm \sqrt{1-4}}{2}$

即特征值为 $\lambda_{1}=\cfrac{1+\sqrt{3}}{2}=e^{i\pi /3}$ 和 $\lambda_{2}=\cfrac{1-\sqrt{3}}{2}=e^{-i\pi /3}$ 它们是复数

由于这些特征值（复数）的模长都是 $1$ ❓ 这表示它们处于一个稳定的体系中，由 $\lambda_{1}^{6}=\lambda_{2}^{6}$ 可知 $A^{6}=I$ 即通项公式 $u_{k}=Au_{k-1}$ 所表示的数列中，各项的值以 $6$ 为周期进行重复

• 当 $n-1$ 时，矩阵 $A_{1 \times 1}=\begin{bmatrix}1\end{bmatrix}$ 其行列式为 $D_{1}=1$
• 当 $n=2$ 时，矩阵 $A_{2 \times 2}=\begin{bmatrix} 1 & 1 \\ 1 & 1 \end{bmatrix}=$ 其行列式为 $D_{2}=1 \times 1 - 1 \times 1=0$
• 当 $n=3$ 时，根据递推关系式可知 $D_{3}=D_{2}-D_{1}=0-1=-1$
• 当 $n=4$ 时，行列式为 $D_{4}=D_{3}-D_{2}=-1-0=-1$
• 当 $n=5$ 时，行列式为 $D_{5}=D_{4}-D_{3}=-1-(-1)=0$
• 当 $n=6$ 时，行列式为 $D_{6}=D_{5}-D_{4}=0-(-1)=1$ 这是完整的一个周期
• 当 $n=7$ 时，行列式为 $D_{7}=D_{6}-D_{5}=1-0=1$ 出现重复值（与 $D_{1}$ 一样），因为进入了下一个周期
• 依此类推，当 $n$ 大于 $6$ 时可以拆分为 $n=6j+k$，可得行列式为 $D_{n}=D_{k}$（其中 $k$ 是 $1$ 到 $5$ 的整数）

观察矩阵 $A_{3}$ 可知它的第三个列向量是第一个列向量的两倍，即矩阵 $A_{3}$ 是奇异矩阵，所以矩阵 $A_{3}$ 的列空间只需由两个列向量张成

因此可以使用矩阵 $A=\begin{bmatrix} 0 & 1 \\ 1 & 0 \\ 0 & 2 \end{bmatrix}$ 来求解投影矩阵 $P$

通过求解特征方程 $det(A_{3}-\lambda I)=0$ 可以得到所有的特征值

解得 $\lambda_{1}=0$、$\lambda_{2}=\sqrt{5}$、$\lambda_{3}=-\sqrt{5}$

将前面求得的所有特征值分别代入方程 $(A-\lambda I)x=0$ 中求出相应的特征向量

• 当 $\lambda_{1}=0$ 时$$(A_{3}-0I)x= \begin{bmatrix} 0 & 1 & 0 \\ 1 & 0 & 2 \\ 0 & 2 & 0 \end{bmatrix}x=0$$
  其中一个特解为 $x_{1}=\begin{bmatrix} -2 \\ 0 \\ 1 \end{bmatrix}$
• 当 $\lambda_{2}=\sqrt{5}$ 时 $$(A_{3}-\sqrt{5}I)x= \begin{bmatrix} -\sqrt{5} & 1 & 0 \\ 1 & -\sqrt{5} & 2 \\ 0 & 2 & -\sqrt{5} \end{bmatrix}x=0$$
  其中一个特解为 $x_{1}=\begin{bmatrix} 1 \\ \sqrt{5} \\ 2 \end{bmatrix}$
• 当 $\lambda_{2}=-\sqrt{5}$ 时 $$(A_{3}-(-\sqrt{5})I)x= \begin{bmatrix} \sqrt{5} & 1 & 0 \\ 1 & \sqrt{5} & 2 \\ 0 & 2 & \sqrt{5} \end{bmatrix}x=0$$
  其中一个特解为 $x_{1}=\begin{bmatrix} 1 \\ -\sqrt{5} \\ 2 \end{bmatrix}$

若一个 $4 \times 4$ 矩阵是一个可逆矩阵（它的各个列向量相互线性独立），则它的列空间就是整个 $\mathbb{R}^{4}$ 向量空间，如果将任意向量 $v=\begin{bmatrix} v_{1} \\ v_{2} \\ v_{3} \\ v_{4} \end{bmatrix}$ 投影到这个矩阵的列空间，则相当于将向量 $v$ 投影到 $\mathbb{R}^{4}$ 空间中，由于向量空间 $\mathbb{R}^{4}$ 包含所有向量（即向量 $v$ 本来就在这个向量空间中），所以投影结构向量等于其自身 $v$，相应地投影矩阵就是单位矩阵 $P=I_{4 \times 4}$

所以如果证明 $A_{4}$ 是一个可逆矩阵，就可以得到投影矩阵 $P=I_{4 \times 4}$

通过求解行列式 $detA_{4} \ne 0$ 来证明 $A_{4}$ 是一个可逆矩阵

所以 $A_{4}$ 是一个可逆矩阵，则它的投影矩阵是 $P=I_{4 \times 4}$