L5-转置、置换、向量空间

参考

Unit I: Ax = b and the Four Subspaces - Transposes, Permutations, Vector Spaces | pdf
课本章节：Section 2.7 in the 4^th or 5^th edition
练习题：L5-转置、置换、向量空间-习题集

置换矩阵

置换矩阵 Permutation matrix 是将单位矩阵进行了行交换所得到的矩阵，对于 $n \times n$ 方阵共有 $n!$ 种不同的置换矩阵（由单位矩阵各行重新排列，得到的所有可能的情况）

如果使用矩阵消元法求解 $Ax=b$ 时，可逆矩阵 $A$ 转换为 $U$ 的过程中，主元位置出现了 $0$ ，就需要使用相应的置换矩阵 $P$ 左乘目标矩阵，以实现行置换，（以便该行可以有主元）使得求解可以继续进行下去，则最终矩阵可以分解为 $PA=LU$ 形式。

规律定理

所有置换矩阵都有逆矩阵，而逆矩阵的作用是「还原」（即恢复行置换操作），因此逆矩阵左乘置换矩阵会得到单位矩阵 $P^{-1}P=I$ 。

而置换矩阵的逆矩阵是其转置矩阵 $P^{-1}=P^{T}$ ，因此 $P^{T}P=P^{-1}P=I$

即置换矩阵的转置 $P^{T}$ 与置换矩阵 $P$ 的乘积为单位矩阵

例如

\begin{aligned} P^{T}_{2,3} P_{2,3} = \begin{bmatrix} 1 & 0 & 0 \\ 0 & 0 & 1 \\ 0 & 1 & 0 \end{bmatrix} \begin{bmatrix} 1 & 0 & 0 \\ 0 & 0 & 1 \\ 0 & 1 & 0 \end{bmatrix} & = \begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{bmatrix} & = I \end{aligned}

转置

转置矩阵 Transpose matrix 是将目标矩阵进行转置操作后得到的矩阵，即将目标矩阵的所有元素的行定位和相应的列定位互换后，得到的矩阵

\begin{aligned} (A^{T})_{{\color{Blue}i } {\color{Red}j }} = A_{{\color{Red}j } {\color{Blue}i }} \end{aligned}

从整体形象的角度考虑，转置操作就是矩阵沿着「对角线」（如果矩阵是方阵就正好是对角线）翻转。💡 由于在「对角线」上的元素（红色标记）行定位 $i$ 与列定位 $j$ 相同，因此在转置时这些元素位置并不变。

\begin{aligned} A= \begin{bmatrix} {\color{Red} a_{11}}&a_{12} &a_{13} &a_{14} \\ a_{21}&{\color{Red} a_{22}} &a_{23} &a_{24} \\ a_{31}&a_{32} &{\color{Red} a_{33}} &a_{34} \end{bmatrix} \end{aligned}

\begin{aligned} A^{T}= \begin{bmatrix} {\color{Red} a_{11}}&a_{21} &a_{31} \\ a_{12}&{\color{Red} a_{22}} &a_{32} \\ a_{13}&a_{23} &{\color{Red} a_{33}} \\ a_{14}&a_{24} &a_{34} \end{bmatrix} \end{aligned}

对称矩阵 Symmetric matrices 是指那些转置后不变的矩阵，即 $A=A^{T}$

可以通过矩阵与其转置矩阵相乘 $AA^{T}$ （或 $A^{T}A$ ）构建出对称矩阵

\begin{aligned} A_{3 \times 2} = \begin{bmatrix} {\color{Red}1} & 3 \\ 2 & {\color{Red} 3} \\ 4 & 1 \end{bmatrix} \end{aligned}

\begin{aligned} A^{T}_{3 \times 2} = \begin{bmatrix} {\color{Red}1} & 2 & 4 \\ 3 & {\color{Red}3} & 1 \end{bmatrix} \end{aligned}

\begin{aligned} A^{T} A = \begin{bmatrix} 1 & 2 & 4 \\ 3 & 3 & 1 \end{bmatrix} \begin{bmatrix} 1 & 3 \\ 2 & 3 \\ 4 &1 \end{bmatrix} & = \begin{bmatrix} 21 & 13 \\ 13 & 19 \end{bmatrix} \end{aligned}

\begin{aligned} AA^{T} = \begin{bmatrix} 1 & 3 \\ 2 & 3 \\ 4 & 1 \end{bmatrix} \begin{bmatrix} 1 & 2 & 4 \\ 3 & 3 & 1 \end{bmatrix} & = \begin{bmatrix} 10 & 11 & 7 \\ 11 & 13 & 11 \\ 7 & 11 & 17 \end{bmatrix} \end{aligned}

提示

由于 $({\color{Green}A }^{T}{\color{Red}A })^{T}={\color{Red}A }^{T}({\color{Green}A }^{T})^{T}=A^{T}A$

以上存在的第一步看起来类似乘法「分配律」，但是为啥可以这样，课上省略了证明步骤 😂 不过可以用实例演示理解一下，如果将乘数分别转置，那么它们的维度就会变了，仍要相乘就需要对调位置，这是第一步红绿位置对调的原因，然后再分别转置后再相乘；而第二步是由于对一个矩阵进行两次转置，「翻转」两次就变为它本身

即矩阵与其置换矩阵的乘积的结果矩阵，将其转置后等于自身，因此 $A^{T}A$ （或 $AA^{T}$ ）是对称矩阵。

向量空间

向量空间 Vector Space 是指由向量的加法和数乘两种运算求出的所有可能的向量集合（即基向量的线性组合得到的向量集合），空间 Space 表示可能包含大量的向量。

向量空间里的向量需要满足封闭性：向量空间中的向量经过数乘和加法两种运算规则得到的向量必须仍在该向量空间中，即对线性组合封闭。

向量空间 $\mathbb{R}^{2}$ 由所有 2-dim 2 维实数向量构成，几何形式是一个 $x-y$ 平面
向量空间 $\mathbb{R}^{3}$ 由所有 3-dim 3 维实数向量构成，几何形式是一个 $x-y-z$ 空间
向量空间 $\mathbb{R}^{n}$ 由所有 n-dim n 维实数向量构成

子空间

子空间 Subspace 是指在一个向量空间中取出部分向量，这些向量构成的子集对于加法和数乘也是封闭的。

向量空间 $\mathbb{R}^{2}$ 的所有子空间：
- 其自身 $\mathbb{R}^{2}$
- 所有过 $\begin{bmatrix}0\\0\end{bmatrix}$ 的直线，直线上的向量，该子空间记作 $L$
- 零向量，该子空间记作 $Z$
向量空间 $\mathbb{R}^{3}$ 的所有子空间：
- 其自身 $\mathbb{R}^{3}$
- 所有过 $\begin{bmatrix}0\\0\end{bmatrix}$ 的平面，平面上的向量构成的向量空间
- 所有过 $\begin{bmatrix}0\\0\end{bmatrix}$ 的直线，直线上的向量构成的向量空间
- 零向量，该子空间记作 $Z$

规律定理

所有向量空间或子空间都必须包含零向量

因为当数乘的因数为 $0$ 时，必然得到零向量。

如果向量空间存在两个子空间 $S$ 和 $T$ ，则它们的交集 $S \cap T$ 得到的向量集合仍构成子空间。

证明

因为当向量 $\vec{v}$ 和 $\vec{w}$ 在 $S \cap T$ 中，则向量 $\vec{v}$ 和 $\vec{w}$ 在子空间 $S$ 中，由于 $S$ 是向量空间，则在其中的向量都满足封闭性，所以 $\vec{v} + \vec{w}$ 仍在子空间 $S$ 中；同理可知 $\vec{v} + \vec{w}$ 仍在子空间 $T$ 中，因此 $\vec{v} + \vec{w} \in S \cap T$ ，即 $S \cap T$ 对向量求和运算封闭。

类似地，可以证得 $S \cap T$ 对于数乘也封闭。

所以两个子空间的交集 $S \cap T$ 得到的向量集合仍构成子空间。

列空间

列空间 Column Space，记作 $C(A)$ ，它是指基于矩阵各列所创建的子空间

\begin{aligned} A = \begin{bmatrix} 1 & 3 \\ 2 & 3 \\ 4 & 1 \end{bmatrix} \end{aligned}

由矩阵 $A$ 的第一列 $col1$ 和第二列 $col2$ 向量的所有可能的线性组合得到的列向量集合，构成一个 $\mathbb{R}^{3}$ 子空间，该列空间 $C(A)$ 的几何形式是一个过原点的平面。