L10-四种基本子空间

参考

Unit I: Ax = b and the Four Subspaces - The Four Fundamental Subspaces | pdf
课本章节：Section 3.6 in the 4^th or Section 3.5 in the 5^th edition
练习题：L10-四种基本子空间-习题集

对于矩阵 $A$ 有 4 种基本的子空间：

列空间 $C(A)$ ：由矩阵 $A$ 的列向量张成的向量空间
零空间 $N(A)$ ：由方程组 $Ax=0$ 所有可能的解 $x$ 构成的向量空间
行空间 $C(A^{T})$ ：由矩阵 $A$ 的行向量张成的向量空间（也就是由目标矩阵 $A$ 的转置矩阵 $A^{T}$ 的列向量张成的向量空间
左零空降 $N(A^{T})$ ：由方程组 $A^{T}y=0$ 所有可能的解 $y$ 构成的向量空间

列空间和零空间

从 L6-列空间和零空间、L7-求解Ax=0主变量和特解、L8-求解Ax=b简化行阶梯形式这三章可知列空间和零空间的定义，以及空间的维度和基的求法。

	列空间 $C(A)$	零空间 $N(A)$
区别	基于方程组 $Ax=b$ 的系数矩阵 $A$ 的列向量（所有可能的线性组合）张成的空间	基于方程组 $Ax=0$ 所有解 $x$ 构成的空间
该空间的维度	$r$ （秩，主元/主变量的数量）	$n-r$ （列的自由变量的数量）
所在的「父」空间（即该空间的向量的维度）	$\mathbb{R^{m}}$ （即向量 $b$ 的维度，当 $b$ 在列空间中时，方程组 $Ax=b$ 有解）	$\mathbb{R^{n}}$ （即向量 $x$ 的维度）

求这两个向量空间的基，可以将矩阵 $A$ 使用消元法变换为简化行阶梯形式 $R$ ，其中矩阵 $R$ 的主列所对应于矩阵 $A$ 的那些列向量就是列空间 $C(A)$ 的一种基；而从 $R$ 可知方程组中的自由变量，确定自由变量后可以求出特解，特定数量的特解就可以构成零空间 $N(A)$ 的一种基。

注意

消元过程中进行了行变换，改变了列空间，因此简化行阶梯形式的矩阵 $R$ 的列空间 $C(R)$ 和原来的矩阵的列空间 $C(A)$ 不一样 $C(A) \neq C(R)$

所以在求解矩阵 $A$ 的列空间的基时，是通过简化行阶梯形式 $R$ 确定主列的位置，再对应于原始矩阵 $A$ 的相应列向量作为基。

行空间

与列空间类似，行空间则是由矩阵 $A$ 的行向量（所有可能的线性组合）张成的空间。

为了方便从列向量的角度进行研究，将矩阵 $A$ 进行转置 $A^{T}$ ，因此矩阵 $A$ 的行空间等价于转置矩阵 $A^{T}$ 的列空间 $C(A^{T})$

对于以下矩阵

\begin{aligned} A = \begin{bmatrix} 1 & 2 & 3 & 1 \\ 1 & 1 & 2 & 1 \\ 1 & 2 & 3 & 1 \end{bmatrix} \xrightarrow{E} \begin{bmatrix} 1 & 2 & 3 & 1 \\ 0 & -1 & -1 & 0 \\ 0 & 0 & 0 & 0 \end{bmatrix} \xrightarrow{E} \begin{bmatrix} 1 & 2 & 3 & 1 \\ 0 & 1 & 1 & 0 \\ 0 & 0 & 0 & 0 \end{bmatrix} \xrightarrow{E} \begin{bmatrix} {\color{Red}1 } & 0 & 1 & 1 \\ 0 & {\color{Red}1 } & 1 & 0 \\ 0 & 0 & 0 & 0 \end{bmatrix} = R \end{aligned}

消元变换的过程中，进行的是行变换（即简化行阶梯形式 $R$ 的各个行向量都是由原来的矩阵 $A$ 的行向量进行线性组合得到的），所以简化行阶梯形式 $R$ 的行空间和原来矩阵 $A$ 的行空间是一样的 $C(R^{T})=C(A^{T})$ ，因此矩阵 $R$ 的行空间的基，也可以作为原始矩阵 $A$ 的行空间的基，而且简化行阶梯形式 $R$ 的形式更简单（主元为 $1$ ，主元所在列上下元素都为 $0$ 的形式）

提示

由消元步骤（进行行变换）和作用（获得阶梯矩阵形式）可知，如果存在线性相关的行向量，在消元时该行就会被化成零向量，例如在以上的示例中 $A$ 的最后一行向量就是与第一行向量线性相关（相等），所以在 $R$ 中最后一行是零向量。

所以矩阵 $R$ 线性独立的行向量是前两行，由前两行的向量作为基，可以张成行空间 $C(A^{T})$

由矩阵 $A$ 消元步骤（进行行变换）和作用（获得阶梯矩阵形式）以及主列的定义（主元所在的列），可以知道行空间（由 $A$ 非线性相关的行向量张成的空间，则 $R$ 中元素均为零的行向量并不包括在内）的维度也是由主列的数量决定，即矩阵的行空间 $C(A^{T})$ 的维度 = 矩阵的秩 $rank(A)$

因此矩阵的行空间 $C(A^{T})$ 的其中一种基是简化行阶梯形式 $R$ 的前 $r$ 行的向量（其中 $r$ 是矩阵 $A$ 的秩）

左零空间

与零空间类似，左零空间是指由方程组 $A^{T}y=0$ 所有解 $y$ 构成的空间

定义

将方程组 $A^{T}y=0$ 等号两边都进行转置，得到 $y^{T}A=0^{T}$ ，得到矩阵 $A$ 的形式，此时方程组的解位于左侧，所以方程组 $A^{T}y=0$ 的所有解 $y$ 构成的向量空间称为矩阵 $A$ 的左零空间

说明

类比列空间和零空间（其中列空间的维度是 $r$ ，零空间的维度是 $n-r$ ），可以得出矩阵 $A$ 的行空间和左零空间的维度。

矩阵 $A$ 的行空间，也是矩阵 $A^{T}$ 的列空间，根据上一节的推到，它的维度是 $r$

而矩阵 $A$ 的左零空间，也是矩阵 $A^{T}$ 的零空间，由于转置了，所以 $A^{T}_{n \times m}$ 列维度是 $m$ ，则自由变量的数量是 $m-r$ ，它的维度是 $m-r$

矩阵的左零空间 $N(A^{T})$ 的维度 = $m-r$

以上示例中，矩阵 $A$ 消元变换得到简化行阶梯形式 $R$ ，所使用的消元矩阵是 $E$ ，因此得等式 $EA= R$ 如下

\begin{aligned} EA= \begin{bmatrix} -1 & 2 & 0 \\ 1 & -1 & 0 \\ {\color{Blue}-1 } & {\color{Blue}0 } & {\color{Blue}1 } \end{bmatrix} \begin{bmatrix} 1 & 2 & 3 & 1 \\ 1 & 1 & 2 & 1 \\ 1 & 2 & 3 & 1 \end{bmatrix} = \begin{bmatrix} {\color{Red}1 } & 0 & 1 & 1 \\ 0 & {\color{Red}1 } & 1 & 0 \\ {\color{Blue}0 } & {\color{Blue}0 } & {\color{Blue}0 } & {\color{Blue}0 } \end{bmatrix} =R \end{aligned}

以上消元过程是求解 $Ax=0$ 方程组的步骤，零空间中的向量是方程组 $Ax=0$ 的解 $x$ ，它们可以使 $A$ 各列向量的线性组合为零（ $x$ 右乘矩阵 $A$ ）。

类似地，左零空间中的向量是方程组 $y^{T}A=0$ 或 $A^{T}y=0$ 的解 $y$ ，它们可以使 $A$ 各行向量的线性组合为零（ $y$ 左乘矩阵 $A$ ，或看成是 $y$ 右乘矩阵 $A^{T}$ ）。

对于本例由于左零空间的维度是 $m-r=3-2=1$ 所以只需要找到一个特解就构成了左零空间的一种基。

提示

一般左零空间需要结合 $R$ 和 $E$ 求出基

由于矩阵 $R$ 各行都是由矩阵 $A$ 的各行向量的线性组合得到的，其中消元矩阵 $E$ 相应的行向量（左乘矩阵 $A$ ）作为线性组合的「系数」。

观察以上示例中 $R$ 可知最后一行是零向量，所以相应地消元矩阵 $E$ 的最后一行的向量就是左零空间的一种基

以下是矩阵四种空间的总结

	列空间 $C(A)$	零空间 $N(A)$	行空间 $C(A^{T})$	左零空间 $N(A^{T})$
区别	基于方程组 $Ax=b$ 的系数矩阵 $A$ 的列向量（所有可能的线性组合）张成的空间	方程组 $Ax=0$ 所有解 $x$ 构成的空间	基于矩阵 $A$ 的行向量（所有可能的线性组合）张成的空间	方程组 $A^{T}y=0$ 或 $y^{T}A=0$ 所有解 $y$ 构成的空间
该空间的维度	$r$ （秩）	$n-r$ （列自由变量的数量）	$r$ （秩）	$m-r$ （行「自由变量」的数量）
所在的「父」空间（即该空间的向量的维度）	$\mathbb{R^{m}}$ （即向量 $b$ 的维度， $b$ 在列空间中时，方程组 $Ax=b$ 有解）	$\mathbb{R^{n}}$ （即向量 $x$ 的维度）	$\mathbb{R^{n}}$	$\mathbb{R^{m}}$

新的向量空间

目前研究的向量空间中，向量都是「线性」的，即向量空间的组合是行向量或列向量，这些向量空间都是 $\mathbb{R^{n}}$ 格式的（由向量的元素的数量决定）

如果将矩阵看作「向量」（则向量本身就看作一个元素），这些矩阵的集合也可以构成新的向量空间。

这些矩阵也满足对于线性组合是封闭的这一约束，即矩阵之间相加、标量（系数）与矩阵相乘所得的矩阵，仍在这个集合中（暂时不考虑矩阵之间相乘的操作）。

例如将所有 $3 \times 3$ 矩阵所构成的集合看作是向量空间（则这一类的向量空间就是 $\mathbb{R^{n \times n}}$ 格式）记作 $M$ ，它的子空间可以是：

所有上三角矩阵 upper triangular matrices
所有对称矩阵 symmetric matrices
所有对角矩阵 diagonal matrices，记作 $D$ （该向量空间其实是前两个向量空间的交集）

向量空间 $D$ 也有维度和基，它的维度是 $3$ ，其中一种基是

\begin{aligned} \begin{bmatrix} 1 & 0 & 0 \\ 0 & 0 & 0 \\ 0 & 0 & 0 \end{bmatrix}, \begin{bmatrix} 1 & 0 & 0 \\ 0 & 3 & 0 \\ 0 & 0 & 0 \end{bmatrix}, \begin{bmatrix} 0 & 0 & 0 \\ 0 & 0 & 0 \\ 0 & 0 & 7 \end{bmatrix} \end{aligned}