L3-矩阵的乘法和逆

参考

Unit I: Ax = b and the Four Subspaces - Multiplication and Inverse Matrices | pdf
课本章节：Section 2.4, through 2.5 in the 4^th or 5^th edition
练习题：L3-矩阵的乘法和逆-习题集

矩阵乘法

两矩阵相乘 $AB=C$ ，其中 $A$ 是一个 $m \times n$ 矩阵， $B$ 是一个 $n \times p$ 矩阵，并以 $C_{ij}$ 表示矩阵 $C$ 的第 $i$ 行、第 $j$ 列的元素 entry

可以有 4 方式去理解：

标准方法（行向量与列向量相乘，点乘，依次求出各元素）
矩阵各列的线性组合（矩阵与列向量相乘，依次求出各列）
矩阵各行的线性组合（行向量与矩阵相乘，依次求出各行）
列向量与行向量相乘（得到多个矩阵，再求和）

标准方法（row times column）

左乘矩阵的行向量与右乘矩阵的列向量相乘得到结果矩阵的相应元素。

\begin{aligned} A_{m\times n} B_{n\times p} & = \begin{bmatrix} a_{11} & a_{12}& \cdots & a_{1n} \\ \vdots & \vdots & \ddots & \vdots \\ {\color{Red}a_{i1}} & {\color{Red}a_{i2}} & {\color{Red}\cdots} & {\color{Red}a_{in}} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{bmatrix} \begin{bmatrix} b_{11} & \cdots & {\color{Red}b_{1j}} & \cdots & b_{1p} \\ b_{21} & \cdots & {\color{Red}b_{2j}} & \cdots & b_{2p} \\ \vdots & \vdots & {\color{Red}\vdots} & \ddots & \vdots \\ b_{n1} & \cdots & {\color{Red}b_{nj}} & \cdots & b_{np} \end{bmatrix} & = \begin{bmatrix} c_{11} & c_{12} & \cdots & \cdots & \cdots & c_{1p} \\ c_{21} & c_{22} & \cdots & \cdots & \cdots & c_{2p} \\ \vdots & \vdots & \vdots & \vdots & \vdots &\vdots \\ \vdots & \vdots & \vdots & {\color{Red}c_{ij}} & \vdots & \vdots \\ \vdots & \vdots & \vdots & \vdots & \vdots & \vdots \\ c_{m1} & c_{m2} & \cdots & \cdots & \cdots & c_{mp} \end{bmatrix} & = C \end{aligned}

矩阵 $C$ 的 $C_{ij}$ 元素是左乘矩阵 $A$ 的第 $i$ 行（向量）与右乘矩阵 $B$ 的第 $j$ 列（向量）点乘求得

\begin{aligned} C_{ij} &= \begin{bmatrix} {\color{Red}a_{i1}}& {\color{Red}a_{i2}}& {\color{Red}\cdots} & {\color{Red}a_{in}} \end{bmatrix} \begin{bmatrix} {\color{Red}b_{1j}}\\ {\color{Red}b_{2j}}\\ {\color{Red}\vdots}\\ {\color{Red}b_{nj}} \end{bmatrix} \end{aligned}

即 $C_{ij} = \sum_{k=1}^{n} a_{ik}b_{kj}$

提示

以上的行向量左乘列向量，也可以看作矩阵与列向量的乘法

矩阵各列的线性组合（columns）

以矩阵与列向量相乘的角度考虑，结果矩阵的各列是基于右乘矩阵相应的列作为系数，左乘矩阵各列进行线性组合而得的。

矩阵 $C$ 的第 $j$ 列是矩阵 $A$ 与矩阵 $B$ 的第 $j$ 列相乘得到的。因此可以将矩阵 $A$ 和矩阵 $B$ 相乘得到矩阵 $C$ 看作是矩阵 $C$ 各列是矩阵 $A$ 各列的线性组合。

\begin{aligned} AB & = \begin{bmatrix} \cdots & \cdots & \cdots \\ \vdots & \ddots & \vdots \\ \cdots & \cdots & \cdots \end{bmatrix} \begin{bmatrix} \vdots & \vdots & \cdots & \vdots \\ {\color{Red} col1} & {\color{Green} col2} & \cdots & {\color{Orange} colp} \\ \vdots& \vdots & \cdots & \vdots \end{bmatrix} &= \begin{bmatrix} \vdots & \vdots & \cdots & \vdots \\ A {\color{Red} col1} & A {\color{Green} col2} & \cdots & A {\color{Orange} colp} \\ \vdots & \vdots & \cdots & \vdots \end{bmatrix} & = C \end{aligned}

矩阵各行的线性组合（rows）

以行向量与矩阵相乘的角度考虑，结果矩阵的各行是基于左乘矩阵相应的行作为系数，右乘矩阵各行进行线性组合而得的。

矩阵 $C$ 的第 $i$ 行是矩阵 $A$ 的第 $i$ 行与矩阵 $B$ 相乘得到的。因此可以将矩阵 $A$ 和矩阵 $B$ 相乘得到矩阵 $C$ 看作是矩阵 $C$ 各行是矩阵 $B$ 各行的线性组合。

\begin{aligned} AB & = \begin{bmatrix} \cdots & {\color{Red} row1} & \cdots \\ \cdots & {\color{Green} row2} & \cdots \\ \vdots & \vdots & \vdots \\ \cdots & {\color{Orange} rowm} & \cdots \end{bmatrix} \begin{bmatrix} \cdots & \cdots & \cdots \\ \vdots & \ddots & \vdots \\ \cdots & \cdots & \cdots \end{bmatrix} & = \begin{bmatrix} \cdots & {\color{Red} row1} B & \cdots \\ \cdots & {\color{Green} row2} B & \cdots \\ \vdots & \vdots & \vdots \\ \cdots & {\color{Orange} rowm} B & \cdots \end{bmatrix} & = C \end{aligned}

列向量乘行向量（column times row)

左乘矩阵的第 $k$ 列向量与相应的右乘矩阵的第 $k$ 行向量相乘，得到一个矩阵，再将所有得到的矩阵相加求和得到最终的结果矩阵。

\begin{aligned} AB &= \sum_{k=1}^{n} \begin{bmatrix} a_{1k}\\ \vdots\\ a_{mk} \end{bmatrix} \begin{bmatrix} b_{k1}& \dots & b_{kn} \end{bmatrix} &= C \end{aligned}

例如 $A_{3 \times 2}$ 与 $B_{2 \times 2}$ 相乘，分别将左乘矩阵的第一列向量与右乘矩阵的第一行向量相乘，左乘矩阵的第二列向量与右乘矩阵的第二行向量相乘，分别得到两个矩阵；最后将这两个矩阵相加就可以得到结果。

\begin{aligned} \begin{bmatrix} {\color{Red} 2} & {\color{Green} 7} \\ {\color{Red} 3} & {\color{Green} 8} \\ {\color{Red} 4} & {\color{Green} 9} \end{bmatrix} \begin{bmatrix} {\color{Red} 1} & {\color{Red} 6} \\ {\color{Green} 0} & {\color{Green} 0} \end{bmatrix} & = \begin{bmatrix} {\color{Red} 2} \\ {\color{Red} 3} \\ {\color{Red} 7} \end{bmatrix} \begin{bmatrix} {\color{Red} 1} & {\color{Red} 6} \end{bmatrix} + \begin{bmatrix} {\color{Green} 7} \\ {\color{Green} 8} \\ {\color{Green} 9} \end{bmatrix} \begin{bmatrix} {\color{Green} 0} & {\color{Green} 0} \end{bmatrix}\\ &= \begin{bmatrix} {\color{Red} 2} & {\color{Red} 12} \\ {\color{Red} 3} & {\color{Red} 18} \\ {\color{Red} 4} & {\color{Red} 24} \end{bmatrix} + \begin{bmatrix} {\color{Green} 0} & {\color{Green} 0} \\ {\color{Green} 0} & {\color{Green} 0} \\ {\color{Green} 0} & {\color{Green} 0} \end{bmatrix} \\ & = \begin{bmatrix} 2 & 12 \\ 3 & 18 \\ 4 & 24 \end{bmatrix} \end{aligned}

分块乘法

分块乘法 block multiplication，可以将矩阵的多个元素的部分区域作为一个整体元素看待，基于标准方法（row times column）可以得到类似的乘法规律

将矩阵 $A$ 和矩阵 $B$ 分别划分为四个块，相乘得到矩阵 $C$

\begin{aligned} AB & = \begin{bmatrix} {\color{Red}A_{1}} & {\color{Red}A_{2}} \\ A_{3} & A_{4} \end{bmatrix} \begin{bmatrix} {\color{Red}B_{1}} & B_{2} \\ {\color{Red}B_{3}} & B_{4} \end{bmatrix}\\ & = \begin{bmatrix} {\color{Red}A_{1} B_{1} + A_{2} B_{3}} & \dots \\ \dots & \dots \end{bmatrix}\\ & = C \end{aligned}

提示

对两个矩阵进行分块时，要求块内部元素的维度满足矩阵相乘的维度要求。

矩阵的逆

上一节将「作用相反」的初等矩阵记为 $E^{-1}$ 称为 $E$ 的逆矩阵，可以拓展到一般的矩阵，当矩阵 $A$ 是可逆矩阵 invertible matrix/非奇异矩阵 non-singular matrix 时，它存在左逆矩阵 $A^{-1}$ ，满足 $A^{-1}A=I$ 。

提示

如果 $A$ 是方阵，则满足 $A^{-1}A=I$ 且 $AA^{-1}=I$ ，即 （可逆）方阵的左逆和右逆相同。

逆矩阵的求解

已知方阵 $A$ 为可逆矩阵，求解其逆矩阵

\begin{aligned} A & = \begin{bmatrix} 1 & 3 \\ 2 & 7 \end{bmatrix} \end{aligned}

假设方阵的逆为

\begin{aligned} A^{-1} &= \begin{bmatrix} a&c \\ b&d \end{bmatrix} \end{aligned}

根据 $AA^{-1}=I$ 可得

\begin{aligned} \begin{bmatrix} 1 & 3\\ 2 & 7 \end{bmatrix} \begin{bmatrix} a&c \\ b&d \end{bmatrix} &= \begin{bmatrix} 1&0 \\ 0&1 \end{bmatrix} \end{aligned}

以矩阵各列的线性组合来考虑矩阵相乘可得两个方程组

方程组一：

\begin{aligned} \begin{bmatrix} 1 & 3\\ 2 & 7 \end{bmatrix} \begin{bmatrix} a \\ b \end{bmatrix} &= \begin{bmatrix} 1 \\ 0 \end{bmatrix} \end{aligned}

方程组二：

\begin{aligned} \begin{bmatrix} 1 & 3\\ 2 & 7 \end{bmatrix} \begin{bmatrix} c \\ d \end{bmatrix} &= \begin{bmatrix} 0 \\ 1 \end{bmatrix} \end{aligned}

使用高斯-若尔当能 Gauss–Jordan 消元法同时求解两个（或多个）方程组，过程类似于高斯消元法求解一个方程组：

使用增广矩阵表示多个方程组，并通过多个消元矩阵的变换，将系数矩阵转换为单位矩阵
增广矩阵右侧部分就是逆矩阵 $A^{-1}$

基于两个方程组得到的增广矩阵 $(A|I)$ 为

\begin{bmatrix} \begin{array}{c:c} \begin{matrix} 1 & 3 \\ 2 & 7 \end{matrix} & \begin{matrix} 1 & 0 \\ 0 & 1 \end{matrix} \end{array} \end{bmatrix}

使用消元矩阵对增广矩阵左侧的部分进行变换，使其转换为单位矩阵

\begin{bmatrix} \begin{array}{c:c} \begin{matrix} 1 & 3 \\ 2 & 7 \end{matrix} & \begin{matrix} 1 & 0 \\ 0 & 1 \end{matrix} \end{array} \end{bmatrix} \Rightarrow \begin{bmatrix} \begin{array}{c:c} \begin{matrix} 1 & 3 \\ 0 & 1 \end{matrix} & \begin{matrix} 1 & 0 \\ -2 & 1 \end{matrix} \end{array} \end{bmatrix} \Rightarrow \begin{bmatrix} \begin{array}{c:c} \begin{matrix} 1 & 0 \\ 0 & 1 \end{matrix} & \begin{matrix} 7 & -3 \\ -2 & 1 \end{matrix} \end{array} \end{bmatrix}

则增广矩阵右侧部分就是逆矩阵 $\begin{bmatrix}7&-3\\-2&1\end{bmatrix}$

高斯-若尔当能消元法求解出逆矩阵的原理

消元法使用（一系列）初等矩阵 $E$ 与增广矩阵 $[A|I]$ 相乘，对其进行变换，即 $E[A|I]=[I|{\color{Red}?}]$

根据分块乘法规则可知（虽然实际上 $E[A|I]$ 是列向量与行向量相乘） $EA=I$ ，而 $A^{-1}A=I$ ，所以消元矩阵 $E$ 就是 $A$ 的可逆矩阵，即 $E=A^{-1}$

根据分块乘法的规则，有 ${\color{Red}?}=EI=E$ ，而前面的分析可知 $E=A^{-1}$ 所以增广矩阵经过消元法最后得到的右半部分就是 $A$ 的可逆矩阵

注意

以上求解方法只能针对方阵，因为需要将原矩阵 $A$ 与单位矩阵 $I$ 构造为一个增广矩阵，需要保证它们的维度相匹配