满足结合律 associative law： $ABC = A(BC)$
不满足交换律 commutative law： $AB \neq BA$
满足分配律 distributive law： $AB+AC=A(B+C)$
注意
但相乘时，因子顺序不可变，即 $A(B+C)$ 只能拆分为 $AB$ 和 $AC$ 之和，不能拆分为 $BA$ 和 $CA$ 之和）

差异矩阵与求和矩阵

当矩阵 $A$ 为 $\begin{bmatrix} 1 & 0 & 0 \\ -1 & 1 & 0 \\ 0 & -1 & 1 \end{bmatrix}$ 则有 $Ax=b$ 为

\begin{aligned} Ax & = \begin{bmatrix} 1 & 0 & 0 \\ -1 & 1 & 0 \\ 0 & -1 & 1 \end{bmatrix} \begin{bmatrix} x_{1} \\ x_{2} \\ x_{3} \end{bmatrix} & = \begin{bmatrix} x_{1} \\ x_{2} - x_{1} \\ x_{3} - x_{2} \end{bmatrix} & = b \end{aligned}

得出的向量元素是由原向量的元素相减产生的，因此称这类型的矩阵 $A$ 为差异矩阵 Difference Matrix，上述示例矩阵 $A$ 为一阶差矩阵 First Difference Matrix。

类似地，求和矩阵就是使得结果向量的元素是由原向量的元素相加产生的，记作 $S$

当矩阵 $A$ 为 $\begin{bmatrix} 1&0 &0 \\ 1&1 &0 \\ 1&1 &1\end{bmatrix}$ 则有 $Ax=b$ 为

\begin{aligned} Ax &= \begin{bmatrix} 1&0 &0 \\ 1&1 &0 \\ 1&1 &1 \end{bmatrix} \begin{bmatrix} x_{1} \\ x_{2}\\ x_{3} \end{bmatrix} &= \begin{bmatrix} x_{1}\\ x_{1} + x_{2}\\ x_{1} + x_{2} + x_{3} \end{bmatrix} &= b \end{aligned}

初等矩阵

初等矩阵 Elimination Matrix，也称为消元矩阵 Elementary Matrix，记作 $E$ ，由于该矩阵的作用是在使用消元法求解方程组时，左乘目标矩阵，以行向量和矩阵相乘的角度来考虑，以对目标进行基本的变换（行之间进行加减组合，以依次在每一行实现消除一个元），实现将目标矩阵变换为上三角矩阵 $U$ 的目的。

\begin{aligned} E\times A &= \begin{bmatrix} 1&0 &0 \\ {\color{Red} -3}&{\color{Red} 1} &{\color{Red} 0} \\ 0&0 &1 \end{bmatrix} \begin{bmatrix} 1&2 &1 \\ 3&8 &1 \\ 0&4 &1 \end{bmatrix} &= \begin{bmatrix} 1&2 &1 \\ 0&2 &-2 \\ 0&4 &1 \end{bmatrix} \end{aligned}

示例的初等矩阵 $E$ 对目标矩阵 $A$ 第二行进行变换，以第一行 x -3 + 第二行的结果作为目标矩阵 $A$ 新的第二行。

置换矩阵

置换矩阵 Permutation Matrix，记为 $P$ ，该矩阵与目标矩阵相乘，实现对矩阵两行互换的功能。

以行向量与矩阵相乘的角度来考虑置换矩阵 x 目标矩阵，并从单位矩阵的作为的作用（相当于单位 1，左乘目标矩阵，矩阵不变，当然右乘目标矩阵也不变）来类比，可以「解读」置换矩阵究竟对目标矩阵的哪两行进行置换。

\begin{aligned} P \times A &= \begin{bmatrix} 0& 1\\ 1& 0 \end{bmatrix} \begin{bmatrix} a& b\\ c& d \end{bmatrix} &= \begin{bmatrix} c&d \\ a&b \end{bmatrix} \end{aligned}

以上示例中，置换矩阵 $P$ 对目标矩阵 $A$ 进行行置换。

说明

置换矩阵 $P$ 可以看作是由单位矩阵 $I$ 调换相应的行而得到的，当该置换矩阵与相应的矩阵相乘时，作用就是对调目标矩阵相应的行。

提示

对于 $n \times n$ 方阵共有 $n!$ 种不同的置换矩阵（单位矩阵各行重排列得到的所有可能的情况）

类似地，可以通过右乘（以矩阵与列向量的角度来考虑）实现列置换：

\begin{aligned} A \times M &= \begin{bmatrix} a& b\\ c& d \end{bmatrix} \begin{bmatrix} 0& 1\\ 1& 0 \end{bmatrix} &= \begin{bmatrix} b&a \\ d&c \end{bmatrix} \end{aligned}

提示

所有置换矩阵都有逆矩阵（将行置换操作「还原」），置换矩阵的逆矩阵是其转置矩阵 $P^{-1}=P^{T}$ ，因此 $P^{T}P=P^{-1}P=I$

增广矩阵

增广矩阵 Augmented Matrix 是在求解方程组时间系数矩阵 $A$ 与方程组等号右侧的结果向量 $b$ 结合在一起构成的矩阵，便于以矩阵的形式使用消元法求解方程组，💡 虽然软件使用消元法进行求解方程组时，实际是将系数矩阵和结果向量分开变换的。

对于方程组 $\begin{aligned}\begin{cases}2x-y=0\\-x+2y=3\\\end{cases}\end{aligned}$

其系数矩阵为 $\begin{aligned}A&=\begin{bmatrix}2&-1 \\-1&2\end{bmatrix}\end{aligned}$ ，结果向量 $\begin{aligned}b&=\begin{bmatrix} 0\\3\end{bmatrix}\end{aligned}$

则其增广矩阵为

\begin{aligned} \begin{bmatrix} 2&-1&0 \\ -1&2&3 \\ \end{bmatrix} \end{aligned}

提示

有时候会在增广矩阵中使用一条竖线分隔系数部分 $A$ 和结果部分 $B$ ，并将矩阵命名为 $(A|B)$ 。

三角矩阵

上三角矩阵

上三角矩阵 Upper Triangular Matrix，记作 $U$ ，它是在使用消元法求解方程组过程中，通过置换和（或）基本变换得到的对角线左下方全部为零的方阵。

在使用消元法（如高斯消元法）求解方程组时，当系数矩阵 $A$ 变换为 $U$ 时，就可以从最底层一行求得对应的一个未知数，并通过从下到上依次回代替换 backwards substitution 的方法解出所有的未知数。

提示

有时候为了统一（与下三角矩阵 $L$ 形式对应），会将上三角矩阵 $U$ 对角线上的主元「提出」，作为对角矩阵 $D$ ，分解为 $U=DU$ 形式，这样就可以使得上三角矩阵的对角线元素都为 $1$ 。

将 $U=\begin{bmatrix} 2&1\\ 0&3 \end{bmatrix}$ 分解为 $DU$ 形式

\begin{aligned} U= \begin{bmatrix} 2&1\\ 0&3 \end{bmatrix}= \begin{bmatrix} 2&0\\ 0&3 \end{bmatrix} \begin{bmatrix} 1&\frac{1}{2} \\ 0&1 \end{bmatrix}= DU \end{aligned}

下三角矩阵

下三角矩阵 Lower Triangular Matrix，记作 $L$ ，它其实是在使用消元法求解方程组过程中产生的各个消元矩阵的逆矩阵的（逆序）乘积，可以将上三角矩阵 $U$ 「还原」为目标矩阵 $A$ 的一种矩阵，或可以理解为将矩阵分解为 $A=LU$ 形式。

下三角矩阵是对角线上的元素都是 $1$ ，且右上方全部为零的方阵。

阶梯形式

如果矩阵中有些列与其他列线性相关（非独立），则通过消元变换得到的矩阵 $U$ 在对角线或上三角部分也可能存在 $0$ ，这种更一般形式被称为阶梯形式 Echelon Form，因为矩阵右上角的非零元素以一种类似阶梯的形式出现。

\begin{aligned} A= \begin{bmatrix} 1 &2 &2 &2\\ 2 &4 &6 &8\\ 3 &6 &8 &10\\ \end{bmatrix} \xrightarrow{E} \begin{bmatrix} {\color{Red}1} &2 &2 &2\\ 0 &0 &2 &4\\ 0 &0 &2 &4\\ \end{bmatrix} \xrightarrow{E} \begin{bmatrix} {\color{Red}1} &2 &2 &2\\ 0 &0 &{\color{Red}2} &4\\ 0 &0 &0 &0\\ \end{bmatrix} =U \end{aligned}

提示

消元得到矩阵 $U$ 根据主元的位置可以将各列分为两种：

主列：主元所在的列，在求解方程组 $Ux=0$ 回代替换过程中，这些列所对应的未知数 $x_{i}$ 可以求出确定值，这些未知数称为主变量。
自由列：主元不存在的列，在求解方程组 $Ux=0$ 回代替换过程中，这些列所对应的位置数 $x_{i}$ 可以指定为任意值（由于无法通过等式确定它们的值，即它们取任意值也不响应方程组等式关系的成立），这些未知数称为自由变量。

秩

秩 Rank 是矩阵（在求解方程组时，通过消元法将矩阵变换为 echelon form 阶梯形式）所含有的主元数量，记作 $r$ 。

秩表示方程组 $Ux=0$ 中可以基于确定的等式关系求出值的未知数的数量（并非所有的未知数都可以求出确定值，这是由于方程组中部分等式是「非独立」的）。

提示

在方程组 $A_{m \times n}x=0$ ，其中未知数（或变量）的维度就是 $n$ ，所以当秩为 $r$ 时，则自由变量的数量就为 $n-r$ 个。

提示

矩阵 $A$ 的秩与其转置矩阵 $A^{T}$ 的秩相同（主元数量相同）。

简化行阶梯形式

简化行阶梯形式 Reduce Row Echelon Form 是使用消元法（方程组中各等式之间作差，或等式内初一系数进行化简）进一步将阶梯形式的矩阵 $U$ 化简为主元为 $1$ ，主元所在列上下元素都为 $0$ 的形式，记作 $R$

\begin{aligned} U= \begin{bmatrix} {\color{Red}1} &2 &2 &2\\ 0 &0 &{\color{Red}2} &4\\ 0 &0 &0 &0\\ \end{bmatrix} \xrightarrow{E} \begin{bmatrix} {\color{Red}1} &2 &0 &-2\\ 0 &0 &{\color{Red}2} &4\\ 0 &0 &0 &0\\ \end{bmatrix} \xrightarrow{E} \begin{bmatrix} {\color{Red}1} &2 &0 &-2\\ 0 &0 &{\color{Red}1} &2\\ 0 &0 &0 &0\\ \end{bmatrix} =R \end{aligned}

提示

在求解方程组 $Ax=0$ 的零空间时，该形式的矩阵 $R$ 可以更方便地在指定自由变量后，回代替换求出主变量，得到特解；或者可以直接根据矩阵 $R$ 上自由列和主列写出零空间矩阵 $N=\begin{bmatrix}-F\\I\end{bmatrix}$

主元

主元 Pivot 是指以矩阵形式使用消元法求解方程组时，通过矩阵变换得到的一种矩阵形式里的元素，在矩阵的一列中除了该元素以外，其下方的元素都为 $0$ 的形式，则该元素就是主元，它主要是用于特定计算（求解主元所在列对应的未知数的值）。

消元法是为了便于回代替换，需要将矩阵变换为上三角矩阵 $U$ ，因此直观来说各行的主元就是基于上一行主元往后「缩」一个位置，即每一行第一个非零元素就是主元，而且基于这个规则主元所在列的下方元素都是零。

可逆矩阵/非奇异矩阵

可以通过几个角度理解可逆矩阵/非奇异矩阵 Invertible/Non-Singular Matrix

几何的角度：矩阵各列（向量）都「独立」independent，具体是如果 $Ax=b$ 有唯一解，为 $x=A^{-1}b$ ，有且只有一个 $A^{-1}$ 使得等式成立
提示
如果矩阵是不可逆的，则矩阵 A 的各列向量并不是完全独立的，则由矩阵 $A$ 的各列向量只能张成其所在维度的子空间 subspace。
提示
类似地，对于方程组 $Ax=0$ 而言也是一样，如果 $A$ 是可逆矩阵时，则方程组只有一个唯一解，为零向量（即矩阵 $A$ 的零空间中只有零向量）；如果 $A$ 为不可逆矩阵，则该方程组也是无法求得唯一解（即会有多个解）
因为对于方程组 $Ax=0$ 从矩阵与列向量相乘的角度来考虑，列向量 $x$ 是使矩阵 $A$ 各列进行线性组合的系数，当矩阵是可逆的则表示矩阵的各列都是独立，为了使得线性组合得到零向量，只能 $x$ 本身就是 $0$ ；而如果 $A$ 是不可逆矩阵，则可能存在非零的系数，使得矩阵 $A$ 各列的线性组合为零向量
消元法的角度：不可逆矩阵就是矩阵通过置换和初等变换等方法，无法得到相应数量的主元。由于方程组中的部分等式并不「独立」，因此存在在消元法求解过程中会在一个消元步骤会同时消除多个元的情况。则原系数矩阵 A 是不可逆的，方程组也无法求得唯一解。
行列式的角度：可逆矩阵的行列式不为 $0$

不可逆矩阵

对于矩阵 $A$ ，若存在列向量 $x$ ，且 $x \neq 0$ 不为零向量（即向量中各元素不全为零），使得 $Ax=0$ 成立，则 $A$ 为不可逆/奇异矩阵 No-Inverse/Singular Matrix。

证明

方法一：

使用反证法证明：若矩阵 $A$ ，若存在列向量 $x$ （且 $x \neq 0$ 不为零向量）使得 $Ax=0$ 成立，且 $A$ 为可逆矩阵，则存在 $A^{-1}Ax=Ix=0$ ，必得到 $x=0$ ，这与条件 $x \neq 0$ 矛盾。

方法二：

以矩阵各列线性组合的角度考虑 $Ax$ ，当矩阵（至少存在两列）某些列并非「独立」（或对矩阵的空间维度无「贡献」），就存在非零的 $x$ （线性组合系数）使得矩阵 $A$ 各列进行线性组合时，利用非「独立」的列相互抵消，使得 $Ax=0$ 成立。

例如对于矩阵 $A=\begin{bmatrix} 1 & 3 \\ 2 & 6 \end{bmatrix}$ 假如存在逆矩阵，则满足 $AA^{-1}=I$ （或 $A^{-1}A=I$ ）。

以矩阵与列向量相乘的角度考虑 $AA^{-1}$ 两矩阵相乘，结果矩阵各列都是由矩阵 $A$ 各列的线性组合得到的，而 $A$ 的列 $\begin{bmatrix} 1 \\ 2 \end{bmatrix}$ 和 $\begin{bmatrix} 3 \\ 6 \end{bmatrix}$ 是同一向量，其所有的线性组合依然在同一线上，即这两个列向量的线性组合无法得到 $\begin{bmatrix} 1 \\ 0 \end{bmatrix}$ 或 $\begin{bmatrix} 0 \\ 1 \end{bmatrix}$ ，因此矩阵 $A=\begin{bmatrix} 1 & 3 \\ 2 & 6 \end{bmatrix}$ 是不可逆的。

逆矩阵

若矩阵 $A$ 是可逆矩阵/非奇异矩阵 Invertible/Non-Singular Matrix，假设其左逆矩阵为 $A^{-1}$ ，则满足 $A^{-1}A=I$ 。

提示

如果 $A$ 时方阵，则满足 $A^{-1}A=I$ 且 $AA^{-1}=I$ ，即（可逆）方阵的左逆和右逆相同。

注意

在 L3-矩阵的乘法和逆课堂上所介绍的算法来求解逆矩阵，只能针对方阵，因为需要将原矩阵 $A$ 与单位矩阵 $I$ 构造为一个增广矩阵，需要保证它们的维度相匹配

一般的情况下，说一个矩阵有逆矩阵/可逆，都以该矩阵为方阵为前提的。

所以有一些教程会直接通过观察矩阵的维度（是否为方阵）就断定该矩阵是否为可逆矩阵，而不是根据定义（即通过考察矩阵的各列向量是否为线性独立），也有一定的道理

求解逆矩阵

算法求解

可以使用消元算法一步一步地求解

例如以下演示的是求解一个 $2 \times 2$ 可逆矩阵 $A$ 的步骤

A= \begin{bmatrix} a & b \\ c & d \end{bmatrix}

通过与相同维度的单位矩阵 $I$ 构成增广矩阵

\begin{bmatrix} \begin{array}{c:c} \begin{matrix} a & b \\ c & d \end{matrix} & \begin{matrix} 1 & 0 \\ 0 & 1 \end{matrix} \end{array} \end{bmatrix}

再使用消元矩阵对增广矩阵左侧的部分进行变换，使其转换为单位矩阵：

通过 ${\color{Orange}d } \times {\color{Red}row1 } - {\color{Violet}b } \times {\color{Blue}row2 }$ 消元变换，再除以相减的差值，可以将左侧矩阵的第一行变成单位矩阵的第一行
通过 ${\color{Violet}a } \times {\color{Blue}row2 } - {\color{Orange}c } \times {\color{Red}row1 }$ 消元变换，在除以相减的差值，可以将左侧矩阵的第二行变成单位矩阵的第二行

\begin{aligned} \begin{bmatrix} \begin{array}{c:c} \begin{matrix} {\color{Red}a } & {\color{Red}b } \\ {\color{Blue}c } & {\color{Blue}d } \end{matrix} & \begin{matrix} 1 & 0 \\ 0 & 1 \end{matrix} \end{array} \end{bmatrix} \Rightarrow \begin{bmatrix} \begin{array}{c:c} \begin{matrix} {\color{Red}a }{\color{Orange}d } - {\color{Violet}b }{\color{Blue}c } & {\color{Red}b }{\color{Orange}d } - {\color{Violet}b }{\color{Blue}d } \\ {\color{Violet}a }{\color{Blue}c } - {\color{Red}a }{\color{Orange}c } & {\color{Violet}a }{\color{Blue}d } - {\color{Red}b }{\color{Orange}c } \end{matrix} & \begin{matrix} {\color{Orange}d } & -{\color{Violet}b } \\ -{\color{Orange}c } & {\color{Violet}a } \end{matrix} \end{array} \end{bmatrix} \\ \Rightarrow \begin{bmatrix} \begin{array}{c:c} \begin{matrix} {\color{Red}a }{\color{Orange}d } - {\color{Violet}b }{\color{Blue}c } & 0 \\ 0 & {\color{Violet}a }{\color{Blue}d } - {\color{Red}b }{\color{Orange}c } \end{matrix} & \begin{matrix} {\color{Orange}d } & -{\color{Violet}b } \\ -{\color{Orange}c } & {\color{Violet}a } \end{matrix} \end{array} \end{bmatrix} \\ \Rightarrow \begin{bmatrix} \begin{array}{c:c} \begin{matrix} 1 & 0 \\ 0 & 1 \end{matrix} & \begin{matrix} \cfrac{{\color{Orange}d }}{ad-bc} & \cfrac{-{\color{Violet}b }}{ad-bc} \\ \cfrac{-{\color{Orange}c }}{ad-bc} & \cfrac{{\color{Violet}a }}{ad-bc} \end{matrix} \end{array} \end{bmatrix} \end{aligned}

则增广矩阵右侧部分就是逆矩阵

\begin{bmatrix} \cfrac{d}{ad-bc} & \cfrac{-b}{ad-bc} \\ \cfrac{-c}{ad-bc} & \cfrac{a}{ad-bc} \end{bmatrix}

代数表达式求解

可以使用逆矩阵的代数表达式来求解

A^{-1}=\cfrac{1}{detA}C^{T}

其中 $detA$ 是矩阵 $A$ 的行列式，矩阵 $C^{T}$ 各元素都是由矩阵 $A$ 相应位置的元素的代数余子式构成，并进行转置得到

相乘矩阵的逆矩阵

已知矩阵 $A$ 和矩阵 $B$ 具有逆矩阵 $A^{-1}$ 和 $B^{-1}$ ，则相乘 $AB$ 得到的结果矩阵的逆矩阵是 $B^{-1}A^{-1}$

由于 $(AB)(B^{-1}A^{-1})=A(BB^{-1})A^{-1}=AIA^{-1}=AA^{-1}=I$ 所以 $B^{-1}A^{-1}$ 是 $AB$ 结果矩阵的逆矩阵。另一侧 $(B^{-1}A^{-1})(AB)=I$ 也成立。

转置矩阵的逆矩阵

对于可逆矩阵 $A$ ，则其转置矩阵 $A^{T}$ 也是可逆的，转置矩阵 $A^{T}$ 的逆矩阵是原矩阵的逆矩阵的转置 $(A^{-1})^{T}$

由于已知 $AA^{-1}=I$ ，根据相乘矩阵的转置规则和单位矩阵的转置矩阵是其本身，可知 $(A^{-1})^{T}A^{T}=I$ ，因此 $(A^{-1})^{T}$ 是矩阵 $A^{T}$ 的逆矩阵。

💡 对于单位矩阵 $I$ ，其转置矩阵是本身，且转置矩阵的逆矩阵也是其本身。

置换矩阵的逆矩阵

置换矩阵 $P$ 的逆矩阵是其转置矩阵 $P^{-1}=P^{T}$

正交矩阵的逆矩阵

正交矩阵的逆矩阵就是其转置矩阵 $Q^{-1}=Q^{T}$

证明

由于正交矩阵 $Q$ 是一个方阵，且各列向量都是线性独立的（因为它们是相互垂直/正交的），所以它是可逆矩阵

则根据可逆矩阵的作用/定义可知 $Q^{-1}Q=I$

而正交矩阵是标准正交矩阵的子集，那么它也满足 $Q^{T}Q=I$

所以 $Q^{-1}=Q^{T}$

左右逆

当矩阵 $A_{m \times n}$ 满秩（行满秩和列满秩 $r=m=n$ ）时，它具有左右逆 2-sided inverse 且它们是相同的 $A_{left}^{-1}=A_{right}^{-1}$
提示
当矩阵同时存在左右逆时，表示 $r=m=n$ 矩阵行满秩和列满秩，则矩阵必为方阵
当矩阵 $A_{m \times n}$ 列满秩时 $r=n<m$ ，则矩阵存在左逆 left inverse $A_{left}^{-1}$ （但不存在右逆，因为行不满秩），它满足 $A_{left}^{-1}A=I$ 。左逆可以用矩阵 $A$ 及其转置 $A^{-1}$ 所构成的表达式来表示 $A_{left}^{-1}=(A^{T}A)^{-1}A^{T}$
当矩阵 $A_{m \times n}$ 行满秩时 $r=m<n$ ，则矩阵存在右逆 right inverse $A_{right}^{-1}$ （但不存在左逆，因为列不满秩），它满足 $AA_{right}^{-1}=I$ 。右逆可以用矩阵 $A$ 及其转置 $A^{-1}$ 所构成的表达式来表示 $A_{right}^{-1}=A^{T}(AA^{T})^{-1}$

伪逆

所有矩阵都存在伪逆，其作用和逆矩阵类似，与原矩阵相乘的结果近似于单位矩阵。

求解伪逆的其中一种方法是通过 SVD 奇异值分解 $A=U \Sigma V^{T}$ 对矩阵进行拆分，只对可逆矩阵求逆，而对于不可逆的矩阵求伪逆

\begin{aligned} A^{+}&=(U \Sigma V^{T})^{-1} \\ &=(V^{T})^{-1}\Sigma^{-1}U^{-1} \\ &=V\Sigma^{+}U^{T} \end{aligned}

其中 $U$ 和 $V^{T}$ 都是正交矩阵，它们都是可逆的，可以直接求出逆矩阵；而 $\Sigma$ 是对角矩阵，它可能是不可逆的

矩阵 $\Sigma$ 对角线上的元素是矩阵 $A$ 的特征值（最后可能还有 $0$ 元素，当矩阵 $r<n$ 时，则对角线上的右下角会有 $n-r$ 个零元素）

如果矩阵 $\Sigma$ 是满秩（列满秩和行满秩），则它存在逆矩阵 $\Sigma^{-1}$ ；如果它不满秩，则它的伪逆 $\Sigma^{+}$ 表达式如下（对角线上的元素取倒数）

\Sigma^{+}= \begin{bmatrix} 1/\sigma_{1} & 0 & 0 & 0 & 0 & \dots & 0 \\ 0 & 1/\sigma_{2} & 0 & 0 & 0 & \dots & 0 \\ \vdots & \vdots & \ddots & \vdots & \vdots & \vdots & \vdots \\ 0 & \dots & 0 & 1/\sigma_{r} & 0 & \dots & 0 \\ 0 & \dots & 0 & 0& 0 & \dots & 0 \\ \vdots & \vdots & \vdots & \vdots & \vdots & \ddots & \vdots \\ 0 & \dots & 0 & 0 & 0 & \dots & 0 \end{bmatrix}

转置矩阵

通过对调矩阵的所有元素的行和列位置就可以得到矩阵相应的转置矩阵，即矩阵 $A$ 中第 $i$ 行、第 $j$ 列元素 $a_{ij}$ 转置矩阵 $A^{T}$ 第 $j$ 行、第 $i$ 列元素 $a^{'}_{ji}$ 。

\begin{aligned} (A^{T})_{ij}=A_{ji} \end{aligned}

相加矩阵的转置

根据矩阵转置的定义（或运算方式），可知两个矩阵相加的转置，等于各自进行转置后再相加 $(A+B)^{T}=A^{T}+B^{B}$ （也适用于多个矩阵相加减的情况）

相乘矩阵的转置

矩阵相乘 $AB$ 得到的结果矩阵的转置矩阵是 $B^{T}A^{T}$

对称矩阵

对称矩阵 Symmetric matrices 置换后矩阵不变 $A=A^{T}$

可以通过矩阵与其置换矩阵相乘 $A^{T}A$ 或 $AA^{T}$ 构建对称矩阵

特性

（各元素都是实数的）对称矩阵会满足以下两条特性：

特征值都是实数
特征向量相互垂直/正交

谱定理

对称矩阵可分解为 $A=Q \Lambda Q^{T}$ （其中 $Q$ 是正交矩阵，其中各个列向量由矩阵 $A$ 的特征向量构成；矩阵 $\Lambda$ 是对角矩阵，对角线上的元素是矩阵 $A$ 的特征值，其他元素都是 $0$ ）

主元与特征值的符号

对称矩阵的一系列主元的（正负）符号（数量）与一系列特征值的（正负）符号（数量）一样

number(positive \ pivots)=number(positive \ \lambda^{'}s)

正定矩阵

正定矩阵 Positive definite 是指特征值 $\lambda_{i}$ 都为正数的对称矩阵

以下是四个判定矩阵为正定矩阵的完整条件

说明

完整条件是指矩阵满足其中任何一个条件就可以证明是正定矩阵

所以这四个判定条件是平行等价的

特征值 $\lambda_{i}$ 均为正数
除了矩阵自身的行列式 $detA$ 为正数，沿着对角线向上的 $n-1$ 个「子方阵」的行列式也都为正数
注意
根据矩阵的特征值的积等于行列式 $detA=\prod_{i=1}^{n} \lambda_{i}$ 所以正定矩阵的行列式也是正数
但是反过来则不一定成立，即矩阵的行列式为正数并不能推断它就是正定矩阵
例如矩阵 $A=\begin{bmatrix} -1 & 0 \\ 0 & -3 \end{bmatrix}$ 的行列式是 $detA=-1 \times -3=3$ 是正数，但是它的特征值都是负数，所以它不是正定矩阵
如果要根据特征值的正负判断方阵 $A_{n \times n}$ 是否为正定矩阵，则除了要验证矩阵自身的行列式是否为正，还需要验证（沿着对角线向上的） $n-1$ （其中 $1 \le k \le n$ ）个「子方阵」的行列式是否都为正
主元均为正数
对于任意向量 $x$ （除了 $x=0$ 零向量），公式/函数 $xA^{T}x>0$ 均为正数

提示

正定矩阵源自于最小二乘法，在该算法/求解步骤中出现了 $A^{T}A$ ，其作用是将长方形的矩阵 $A_{m \times n}$ 构造/变成了 $n \times n$ 的方阵吗，那么这个方阵是半正定矩阵（只有当矩阵 $A$ 列满秩时，即矩阵 $A$ 各列向量都是线性独立的/可逆的，此时 $A^{T}A$ 矩阵才是正定矩阵）

另外还有一些特殊的运算可以得到正定矩阵

对于正定矩阵 $A$ 的逆矩阵 $A^{-1}$ ，也是正定矩阵
矩阵 $A$ 和 $B$ 都是正定矩阵，则它们的和 $A+B$ 的结果矩阵也是正定矩阵

向量空间

向量空间 Vector Space 指由向量的加法和数乘两种运算求出的所有可能的向量集合，即通过基向量的线性组合得到的向量集合。即对于向量空间中任意两个向量 $\overrightarrow{v}$ 和 $\overrightarrow{w}$ ，当 $c$ 和 $d$ 是任意实数，都满足（线性组合） $c\overrightarrow{v}+d\overrightarrow{w}$ 仍在向量空间中。

根据定义向量空间是一群向量的集合，它们对线性组合封闭，即取向量空间中任意两个向量相加得到的结果仍在这个集合中，取向量空间中的任意向量进行数乘得到的结果仍在这个集合中。

提示

由于向量空间对于向量的加法和数乘运算是封闭的，而数乘的因数可以取 $0$ ，因此零向量是所有向量空间的元素。

基

基 Base 是张成一个向量空间所需的最少向量，通过它们所有可能的线性组合构成向量空间。

对于矩阵 $A$ 的列空间 $C(A)$ 的基具有以下 2 个特性：

它们线性无关
它们可以张成列空间

基（向量组）的数量与其所在向量空间的维度 Dimension 相同。

提示

基是相对于向量空间而言的，而不是矩阵而言的

子空间

子空间 Subspace 是指在一个向量空间中取出部分向量，这些向量构成的子集对于加法和数乘也是封闭的，如只由零向量组成的矩阵子空间，其几何形式为原点。

假设向量空间存在两个子空间 $S$ 和 $T$ ，则它们的交集 $S \cap T$ 得到的向量集合仍构成子空间。

4 种基本子空间

对于矩阵 $A$ 有 4 种基本的子空间：

列空间 $C(A)$ ：由矩阵 $A$ 的列向量张成的向量空间
零空间 $N(A)$ ：由方程组 $Ax=0$ 所有可能的解 $X$ 构成的向量空间
行空间 $C(A^{T})$ ：由矩阵 $A$ 的行向量张成的向量空间（也就是由目标矩阵 $A$ 的转置矩阵 $A^{T}$ 的列向量张成的向量空间
左零空降 $N(A^{T})$ ：由方程组 $A^{T}y=0$ 所有可能的解 $y$ 构成的向量空间

	列空间 $C(A)$	零空间 $N(A)$	行空间 $C(A^{T})$	左零空间 $N(A^{T})$
区别	基于方程组 $Ax=b$ 的系数矩阵 $A$ 的列向量(所有可能的线性组合）张成的空间	基于方程组 $Ax=0$ 所有解 $x$ 构成的空间	基于矩阵 $A$ 的行向量（所有可能的线性组合）张成的空间	基于方程组 $A^{T}y=0$ 或 $y^{T}A=0$ 所有解 $y$ 构成的空间
该空间的维度	$r$ （秩）	$n-r$ （列自由变量的数量）	$r$ （秩）	$m-r$ （行「自由变量」的数量）
所在的「父」空间（即该空间的向量的维度）	$\mathbb{R^{m}}$ （即向量 $b$ 的维度， $b$ 在列空间中时，方程组 $Ax=b$ 有解）	$\mathbb{R^{n}}$ （即向量 $x$ 的维度，所有方程组 $Ax=0$ 可能的解 $x$ 构成了零空间）	$\mathbb{R^{n}}$	$\mathbb{R^{m}}$

列空间

列空间 Column Space 是基于矩阵各列的所有可能的线性组合得到的向量集合，记作 $C(A)$ 。

注意

但是矩阵各列组成的向量组并不一定构成列空间的基。因为当矩阵中「独立」（线性无关的）列向量数量少于矩阵列维度（即矩阵是一个不可逆矩阵时），则矩阵的列空间就是一个真子空间（列空间维度低于矩阵原来可以表示的最大维度空间）

矩阵列空间 $C(A)$ 的维度 = 矩阵的秩 $rank(A)$

即矩阵的主列的数量才是该矩阵的列空间 $C(A)$ 的基的数量，因此这些主列（简化行阶梯形式的主列所对应回原矩阵 $A$ 的向量）构成的向量组也是其中一种基。

零空间

零空间 Null Space 是指使得方程组 $Ax=0$ 成立的所有 $x$ 构成的向量集合，记作 $N(A)$ 。

提示

其中零向量是必然使等式 $Ax=0$ 成立，因此所有零空间都含有零向量（其实对于向量空间也成立）

矩阵零空间 $N(A)$ 的维度 = $n-r$ （其中 $n$ 是矩阵 $A_{m \times n}$ 的列维度， $r$ 是矩阵 $A$ 的秩）

即矩阵阶梯形式的自由变量的数量 free value number 是矩阵零空间的维度，根据维度可以知道基所需的向量组的数量，求出相应数量的特解，就可以得到其中一种基。

行空间

行空间 Row Space 是基于矩阵各行的所有可能的线性组合得到的向量集合，记作 $C(A^{T})$

提示

使用转置矩阵 $A^{T}$ 是为了可以使用列向量来表示行向量

注意

矩阵的各行组成的向量组同样不一定构成行空间的基，因为矩阵的各行向量之间可能并不是线性独立的。

矩阵行空间 $C(A^{T})$ 的维度 = 矩阵的秩 $rank(A)$

即矩阵 $A^{T}$ 中也是只有主列才构成 $C(A^{T})$ 的基，其实也是矩阵 $A$ 中主变量所在的行才构成基，因此行空间 $C(A^{T})$ 的维度也是矩阵 $A$ 的秩 $r$

左零空间

左零空间 Left Null Space 是指使方程组 $A^{T}y=0$ 或 $y^{T}A=0$ 成立的所有 $y$ 构成的向量集合，记作 $N(A^{T})$

矩阵左零空间 $N(A^{T})$ 的维度= $m-r$ （其中 $m$ 是矩阵 $A_{m \times n}$ 的行维度， $r$ 是矩阵 $A$ 的秩）

类似于矩阵 $A$ 的零空间和列空间的关系，列空间的维度是秩 $r$ （由主列/主变量的数量决定），而零空间的维度则是 $n-r$ （由自由变量的数量决定）；对于矩阵 $A$ 的左零空间和行空间，实际也是转置矩阵 $A^{T}$ 的零空间和列空间的关系，由于矩阵 $A^{T}$ 的列空间的维度也是秩 $r$ ，同样类比可知 $A^{T}$ 的零空间的维度是 $m-r$ ，即矩阵 $A$ 的左零空间 $N(A^{T})$ 的维度是 $m-r$

线性相关性

线性相关性是针对向量组（「一堆」向量）而言的，例如对于两个向量，如果它们不在一条线上，则它们是线性无关的；而对于三个向量，如果它们不在一个平面上，则它们是线性无关的。

判定一个向量组 $\overrightarrow{v_{1}}$ 、 $\overrightarrow{v_{2}}$ …… $\overrightarrow{v_{n}}$ 是否线性相关或线性独立，将这些向量组作为列，构成一个矩阵 $A$

根据矩阵 $A_{m \times n}$ 的零空间 $N(A)$ 的情况判定：

线性独立/线性无关 linearly independent：零空间中只有零向量 $N(A)={0}$ 。此时对于方程组 $Ax=0$ 的系数矩阵的阶梯形式必然没有自由变量，即秩 $rank=n$
线性相关 linearly dependent：零空间中存在一些非零向量。一般是由于方程组 $Ax=0$ 的系数矩阵的阶梯形式中的秩 $rank<n$ ，存在自由变量。

提示

向量组的线性相关性可以考虑相应的矩阵的零空间是否有非零向量，可以从线性相关的定义来理解。向量组构成矩阵 $A$ 各列， $Ax$ 从矩阵与列向量相乘的角度思考（即矩阵各列根据向量 $x$ 进行线性组合），当存在非零解使得 $Ax=0$ 成立，即矩阵的其中一列可以被其他列的通过特点的线性组合得出，因此这些列向量组线性相关。

秩 1 矩阵

秩为 $1$ 的矩阵 Rank 1 Matrix，即矩阵只有一个主元

提示

在视觉上，秩为 $r=1$ 的矩阵其简化阶梯形式 $R$ 除了第一行，其他行元素为 $0$

对于秩 $rank=1$ 的矩阵，都可以「分解」为 $A=uv^T$ 的形式（其中 $u$ 、 $v$ 都是列向量，所以 $v^T$ 是行向量）

例如秩 $r=1$ 的矩阵 $A$ 可以「分解」写成列向量 $\times$ 行向量的形式

\begin{aligned} A= \begin{bmatrix} 1 \\ 2 \end{bmatrix} \begin{bmatrix} 1 & 4 & 5 \end{bmatrix}= \begin{bmatrix} 1 & 4 & 5 \\ 2 & 8 & 10 \end{bmatrix} \end{aligned}

关联矩阵

关联矩阵 Incidence Matrix 是用于描述具有方向的图

例如以下的图 graph 具有 $n=4$ 个结点 nodes 和 $m=5$ 条连线 edges

mermaid

用矩阵来表示

\begin{aligned} A_{m \times n}= \begin{bmatrix} -1 & 1 & 0 & 0 \\ 0 & -1 & 1 & 0 \\ -1 & 0 & 1 & 0 \\ -1 & 0 & 0 & 1 \\ 0 & 0 & -1 & 1 \\ \end{bmatrix} \end{aligned}

该矩阵的每一行相当于图的一条连线 edge，每一列相当于图的一个结点 node

例如矩阵 $A$ 的第一行就是表示连线 edge 1图中结点 node1 指向结点 node2，矩阵中相应的元素分别为 $-1$ 和 $1$ （而与结点 node3 和结点 node4 无关，相应的元素为 $0$ ）

该矩阵在结构上的特点：

矩阵大部分元素都是零，每行只有 $2$ 个非零元素（对应于图中该连线的两个结点），以上实例的矩阵中只有 $2m=2 \times 5=10$ 个非零元素（其中 $m$ 表示矩阵的行，对应于图中的连线 edges 数量），所以矩阵看起来很「稀疏」 sparse
矩阵中线性相关的行，所对应图中的连线会组成 loop 环形回路。例如矩阵的第 1 行、第 2 行和第 3 行向量是线性相关的 $row1 + row2= row3$ ，则对应于图中连线 edge 1、edge 2、edge 3 构成闭合回路

正交

如果两个子空间正交 orthogonal，其含义是两个空间的向量均相互垂直

提示

两个向量正交有一个很重要的结论，即它们的内积 inner product（即点乘 dot product）为零，反之亦然

x^{T}y=0

其中 $x$ 、 $y$ 都是列向量，要计算两者的内积，需要将其中一个转置，则 $x^{T}$ 为行向量

将一个空间 $\mathbb{R}^n$ 分成两个不重叠的子空间，那么它们称为 $n$ 维空间内的正交补 orthogonal complements

注意

如果两个空间垂直，则它们的交集就只有零向量

对于矩阵的四个特别的子空间，其中行空间 $C(A^{T})$ 与零空间 $N(A)$ 正交，而列空间 $C(A)$ 与左零空间 $N(A^{T})$ 正交向量与正交子空间

mermaid

投影

Projection 投影在现实中是指将一个物体轮廓映射到一个平面上。

投影到直线（一维）

在直角平面坐标系中，将向量 $b$ 投影到由向量 $a$ 所指定的直线上，得到投影结果向量 $p$

关于该投影过程的一些重要的式子

系数 $x$ （在投影结果向量 $p=xa$ 中的系数）

x=\frac{a^{T}b}{a^{T}a}

投影结果向量 $p=xa$

p=a\frac{a^{T}b}{a^{T}a}

投影矩阵 $P$

P=\frac{aa^{T}}{a^{T}a}

投影矩阵 $P$ 具有以下特性：

$P^{T}=P$
$P^{2}=P$

投影到平面（高维）

平面 $A$ 由向量 $a_{1}$ 和向量 $a_{2}$ 张成，向量 $b$ 并不在平面上，将该向量投影到平面上，投影结果向量是 $p$

关于该投影过程的一些重要的式子

系数 $x$ （在投影结果向量 $p=A\hat{x}$ 中的系数）：

\hat{x}=(A^{T}A)^{-1}A^{T}b

投影结果向量 $p=A\hat{x}$

p=A\hat{x}=A(A^{T}A)^{-1}A^{T}b

投影矩阵 $P$

P=A(A^{T}A)^{-1}A^{T}

投影矩阵 $P$ 具有以下特性：

$P^{T}=P$ （即投影矩阵是对称矩阵）
$P^{2}=P$

判定投影矩阵

也可以通过验证一个矩阵是否同时满足以上的两个特性，来判定/证明该矩阵是一个投影矩阵

也可以通过验证一个矩阵是否为对称矩阵，而且它的特征值是否为 $\lambda=0$ 或 $\lambda=1$ ，来判定/证明该矩阵是一个投影矩阵

投影矩阵

一般情况下，向量 $b$ 会有两个分量 $b=p+e$ 其中一个分量是投影到列空间 $C(A)$ 的向量 $p$ ；另一个是分量是误差向量 $e$ ，它是向量 $b$ 投影到左零空间 $N(A^{T})$ 的结果

投影矩阵 $P=A(A^{T}A)^{-1}A^{T}$ 将向量 $b$ 投影到列空间 $C(A)$
投影矩阵 $I-P$ 将向量 $b$ 投影到左零空间 $N(A^{T})$

正交矩阵

标准正交矩阵 orthonormal matrices 是指由一系列的标准正交（列）向量 $q_{i}$ 所构成的矩阵 $Q=\begin{bmatrix}q_{1} \dots q_{n} \end{bmatrix}$

该矩阵满足（其中 $I$ 表示单位矩阵）

Q^{T}Q=I

标准正交向量

正交的向量/基 orthogonal basis 是指一系列相互垂直/正交的向量

标准正交向量则是指这些正交的向量的模长都是 $1$

用数学表达式来描述它们

q_{i}^{T}q_{j}=\begin{cases} 0, & if \ i \ne j \\ 1, & if \ i = j \end{cases}

如果标准正交矩阵是方阵时，则称为正交矩阵 orthogonal matrix

正交矩阵的逆矩阵就是其转置矩阵 $Q^{-1}=Q^{T}$

证明

由于正交矩阵 $Q$ 是一个方阵，且各列向量都是线性独立的（因为它们是相互垂直/正交的），所以它是可逆矩阵

则根据可逆矩阵的作用/定义可知 $Q^{-1}Q=I$

而正交矩阵是标准正交矩阵的子集，那么它也满足 $Q^{T}Q=I$

所以 $Q^{-1}=Q^{T}$

行列式

行列式是一个与矩阵相关的数字，行列式常见用途是判断矩阵是否为可逆矩阵。如果行列式为非零，表示该矩阵为可逆矩阵；相应地，如果行列式为零，则表示该矩阵是奇异的/不可逆的

注意

行列式与矩阵的可逆性相关，因此所研究的矩阵都有一个默认预设的前提，即它们都需要是方阵

矩阵 $A$ 的行列式写作 $detA$ 或 $\begin{vmatrix}A\end{vmatrix}$

说明

对于三角矩阵（包括上三角矩阵和下三角矩阵）和对角矩阵的行列式就是其对角线上元素的乘积

所以对于一般的矩阵的行列式也可以表述为行列式是主元 pivots 的乘积

因为一般的矩阵需要通过消元转换为上三角矩阵的形式，才可以得到它的主元，也就是说主元是相对于上三角矩阵而言的

求解方法

有多种方式求解矩阵的行列式

方法一（推荐）

通过主元求解行列式的算法：

通过消元变换将一般的矩阵 $A$ 转换上三角矩阵 $U$
上三角矩阵的对角线上的元素（主元 pivots）乘积就是行列式的值

注意

需要留意在 $\begin{vmatrix}A\end{vmatrix} \xrightarrow{E} \begin{vmatrix}U\end{vmatrix}$ 消元转换的过程中，是否（通过置换矩阵）进行了行互换操作，根据特性二会影响行列式的符号

方法二

使用通用公式求解 $A_{n \times n}$ 矩阵行列式

detA=\sum_{n!}\pm a_{1\alpha }a_{2\beta }a_{3\gamma }\dots a_{n\omega }

其中 $\alpha$ 、 $\beta$ 、 $\gamma$ 、 $\dots$ 、 $\omega$ 互不相同，而且它们是 $1, 2, 3, \dots, n$ 的某种排列（因为它们分别表示在从每一行取一个元素的列下标，需要保证对应的列并不重复）

这些求和的式子中，其正负值各占一半，具体哪一项是正，哪一项是负，可以直接观察如果将该项的元素的列标变成 $1, 2, 3, \dots, n$ 的顺序，需要调换元素多少次（即将矩阵变成对角矩阵），如果是奇数次则该项为负，否则为正

提示

根据上述的求和各项前面的正负号判定规则，可以与 置换矩阵 $P$ 相关联

所以就矩阵的行列式的通用公式也可以表示为

detA=\sum_{n!}(detP_{\alpha, \beta, \gamma, \dots, \omega}) a_{1\alpha }a_{2\beta }a_{3\gamma }\dots a_{n\omega }

方法三（较方法二更优）

代数余子式 Cofactor 可以将复杂的矩阵行列式通用表达式进行「化简」，写成由维度更小的矩形的行列式构成的形式

例如针对第 $i$ 行的元素，如果选取了第 $j$ 列的元素 $a_{ij}$ ，那么它的代数余子式 $C_{ij}$ 就是指从原矩阵剔除了 $a_{ij}$ 这个元素所在的行和列后，剩余的元素所构成的 $(n-1) \times (n-1)$ 矩阵的行列式

即 $C_{ij}=\pm detA_{(n-1) \times (n-1)}$ 其中 $A_{(n-1) \times (n-1)}$ 是原矩阵 $A$ 抹去第 $i$ 行和第 $j$ 列后剩余元素构成的矩阵

所以复杂的矩阵行列式的通用公式可以「简化」为

detA=\sum_{n!}\pm a_{ij}C_{ij}

求和的各式子的符号的正负由 $i+j$ 的奇偶性决定，当 $i+j$ 为奇数时取负；当 $i+j$ 为偶数时取正

例如对于一个 $3 \times 3$ 矩阵，对于行列式的通用表达式中的一个式子 ${\color{Blue}a_{11} }{\color{Green}(a_{22}a_{33}-a_{23}a_{32})}$ 其示意图如下

\begin{vmatrix} {\color{Blue} a_{11}} & {\color{Red} \otimes } & {\color{Red} \otimes } \\ {\color{Red} \otimes } & {\color{Green} a_{22}} & {\color{Green} a_{23}} \\ {\color{Red} \otimes } & {\color{Green} a_{32}} & {\color{Green} a_{33}} \end{vmatrix}

其中选取的作为公因子的元素是第一行第一列的元素 ${\color{Blue} a_{11}}$

那么代数余子式 ${\color{Green}(a_{22}a_{33}-a_{23}a_{32})}$ 就是上图所示的那些绿色元素构成所构成的（低一阶） $2 \times 2$ 矩阵的行列式

提示

虽然从运算转换的角度而言，就是执行了提取公因式操作；但是从降低矩阵的维度复杂度而言代数余子式的十分有用，即可以将一个 $n$ 阶矩阵的行列式，展开为一系列 $(n-1)$ 阶矩阵的行列式；而对于每一个 $(n-1)$ 阶矩的行列式，则可以再进一步展开为一系列的 $(n-2)$ 阶矩阵的行列式；依此类推可以继续展开（但是式子会越来越长）

特性

行列式具有一些特性

提示

其实通过特性 1、特性 2、特性 3 （作为基础特性）可以推导出余下的 7 条特性

再次强调以下特性成立的默认预设前提是矩阵为方阵，如果不是方阵则需要具体讨论

例如矩阵 $A$ 是长方形矩阵，但是通过 $A^{T}A$ 或 $AA^{T}$ 构造出方阵符合以下特性，但是原本的矩阵 $A$ 并不一定符合以下特性

单位矩阵的行列式为 $detI=1$
如果交换矩阵的两行，则行列式的正负符号会改变
该特性分为两小条，主要针对矩阵的某一行的操作（数乘或相加）
a. 如果矩阵的其中一行数乘 $t$ （其他行保持不变），则所得的矩阵的行列式为原矩阵的行列式的 $t$ 倍 $\begin{vmatrix} ta & tb \\ c & d \end{vmatrix}= t \begin{vmatrix} a & b \\ c & d \end{vmatrix}$
b. 在矩阵的其中一行进行相加操作（其他行保持不变），则所得的矩阵的行列式可以进行相应的拆分 $\begin{vmatrix} a+a^{\prime} & b+b^{\prime} \\ c & d \end{vmatrix}= \begin{vmatrix} a & b \\ c & d \end{vmatrix}+ \begin{vmatrix} a^{\prime} & b^{\prime} \\ c & d \end{vmatrix}$
如果矩阵有两行相等，则行列式为 $0$
如果将矩阵的第 $j$ 行减去 $k$ 倍的第 $i$ 行，其中 $i \ne j$ ，则所得的矩阵的行列式不变
以上操作常见于矩阵的消元变换中
如果矩阵中具有一行元素全为零，则行列式为 $0$
三角矩阵 triangular matrix 的行列式为对角线上各元素（主元 pivot）的乘积（该特性对于上三角矩阵、下三角矩阵、对角矩阵都是适合的）
当矩阵为奇异矩阵/不可逆矩阵时，它的行列式为 $0$
两个矩阵相乘，所得的矩阵的行列式是原来的两个矩阵的行列式的乘积 $det(AB)=(detA)(detB)$
转置矩阵的行列式和原来矩阵的行列式一样 $detA^{T}=detA$

提示

$2 \times 2$ 矩阵的行列式通用表达式

detA_{2 \times 2}= \begin{vmatrix} a & b \\ c & d \end{vmatrix}= ad-cb

特征向量与特征值

对于矩阵 $A$ 其特征向量是指那些使得 $Ax \parallel x$ 成立的向量 $x$ ，也可以表示为 $Ax=\lambda x$ 则系数 $\lambda$ 为特征值（所以特征向量和特征值伴随出现）

说明

行列式、特征值、特征向量都是针对方阵而言的，即讨论一个矩阵的行列式、特征值、特征向量时，假定了该矩阵就是 $n \times n$ 方阵

特征向量 $x$ 是指一种特殊的向量，矩阵（以相乘的方式）作用于向量 $x$ 所得的结果向量 $Ax$ ，与原向量 $x$ 平行，方向可以是相同，也可以是相反

特性

特征向量和特征值具有以下特性：

当特征值为 $\lambda =0$ 时，矩阵 $A$ 的零空间中的向量就是特征向量（或者说特征向量构成了零空间）
当矩阵 $A$ 是奇异矩阵时， $0$ 必然是该矩阵的特征值之一（由于奇异的 singular 矩阵 $A$ 中存在非线性独立的列向量，所以 $Ax=0$ 必有解）
对于 $n \times n$ 矩阵，具有 $n$ 个特征值（可能会存在相同的值）
特征值之和称为迹 trace，也正好等于矩阵对角线上元素之和，即 $\sum_{i=1}^{n}\lambda_{i}=\sum_{i=1}^{n}a_{ii}$
特征值的积等于矩阵的行列式 $\prod_{i=1}^{n} \lambda_{i}=detA$
若矩阵 $A$ 的特征值为 $\lambda$ ，则矩阵 $A^{2}$ 的特征值为 $\lambda^{2}$
证明
因为特征值 $\lambda$ 和特征向量 $x$ 满足 $Ax=\lambda x$
所以 $A^{2}x=A(Ax)=A\lambda x=\lambda Ax=\lambda \cdot \lambda x=\lambda^{2}x$
即 $\lambda^{2}$ 是矩阵 $A^{2}$ 的特征值（而且矩阵 $A$ 的特征向量 $x$ 也是矩阵 $A^{2}$ 的特征向量）
特征值与矩阵的对称性相关：
- 若矩阵是对称矩阵 symmetric，即矩阵满足 $B^{T}=B$ ，那么它的特征值都是实数（而且特征向量相互垂直 ❓）
- 若矩阵是反对称矩阵 anti-symmetric，即矩阵满足 $B^{T}=-B$ ，那么它的特征值是虚数（即复数中没有实数的部分）
- 若矩阵的对称性介于完全对称和反对称之间，那么它的特征值是复数（每个特征值都是由实数和虚数构成 ❓）
三角矩阵 triangular matrix 的特征值（ $n$ 个）和矩阵对角线上的元素一样
逆矩阵 $A^{-1}$ 的特征值为 $\cfrac{1}{\lambda}$ （原矩阵 $A$ 特征值的倒数）
转置矩阵 $A^{T}$ 与原矩阵 $A$ 具有相同的特征值
投影矩阵是 $P$ 的特征值是 $\lambda=0$ 或 $\lambda=1$
证明
可以由投影矩阵的特性 $P^{2}=P$ 得到 $\lambda^{2}=\lambda$ 则特征值为 $1$ 或 $0$
提示
矩阵 $A$ 的投影矩阵是 $P=A(A^{T}A)^{-1}A^{T}$
- 特征值为 $\lambda =1$ 对应的特征向量 $x$ 是位于原矩阵 $A$ 的列空间中，所以投影结果向量等于 $x$ 自身
- 特征值为 $\lambda =0$ 对应的特征向量 $x$ 是垂直于原矩阵 $A$ 的列空间，所以投影结果向量等于 $0$
正交矩阵的特征值的绝对值是 $\vert \lambda \vert= 1$
证明
根据特征值和特征向量的定义，可得 $Qx=\lambda x$
两边同时求向量的模长，可得 $\Vert Qx \Vert=\Vert \lambda x \Vert$
如果所求的是模长的平方，则可以用矩阵来表示为 $\Vert Qx \Vert^{2}=(Qx)^{T}(Qx)=\lambda^{2} x^{T}x=\Vert \lambda x\Vert^{2}$
由于 $Q$ 是正交矩阵，所以满足 $Q^{T}Q=I$
所以等式的左边可以化简为 $\Vert Qx \Vert^{2}=(Qx)^{T}(Qx)=x^{T}Q^{T}Qx=x^{T}Ix=x^{T}x$
结合等式的右边可得 $\Vert Qx \Vert^{2}=x^{T}x=\lambda^{2} x^{T}x=\Vert \lambda x\Vert^{2}$
所以 $\lambda^{2}=1$ 即 $\vert \lambda \vert= 1$
当矩阵 $A$ 满足 $AA^{T}=A^{T}A$ 则它的特征向量是正交的（相互垂直），例如对称矩阵（它满足 $A=A^{T}$ ），反对称矩阵（它满足 $A^{T}=-A$ ），正交矩阵（它满足 $QQ^{T}=I$ ）

求解算法

根据以下算法步骤求解特征值和特征向量：

首先求出 $\lambda$ 特征值

求解 $det(A-\lambda I)=0$ 可以得到矩阵的所有特征值（对于 $n \times n$ 的矩阵，有 $n$ 个特征值，即以上方程会有 $n$ 个解，虽然可能出现解的值相同的情况，但实际上数量依然是 $n$ 个）

说明

$det(A-\lambda I)=0$ 被称为 key equation 关键方程/ characteristic equation 特征方程/ eigenvalue equation 特征值方程

接着求解 $x$ 特征向量

将上一步骤中所求出的 $n$ 个 $\lambda$ 值分别代入到等式中 $(A-\lambda I)x=0$ 则得到 $n$ 个关于 $x$ 的方程

求解每个方程 $(A-\lambda I)x=0$ 则可以按照求解矩阵 $A-\lambda I$ 零空间的步骤进行（消元法找出矩阵的主元 ➡️ 为其中的自由变量赋值 ➡️ 求出特解/特征向量）

矩阵对角化

对于 $n \times n$ 矩阵 $A$ 如果具有 $n$ 个线性独立的特征向量，则可以通过以下公式将矩阵「变成」对角矩阵，该过程称为矩阵的对角化 diagonalization

S^{-1}AS=\Lambda

特征向量矩阵 eigenvector matrix：以上公式中矩阵 $S$ 是由 $n$ 个线性独立的特征向量作为列向量所构成的
特征值矩阵 eigenvalue matrix：以上公式中矩阵 $\Lambda$ 是 $n$ 个特征值作为对角线上的元素的方阵（其他元素为 $0$ ）

注意

矩阵的对角化需要满足一个前提：矩阵 $A$ 具有 $n$ 个线性独立的特征向量

这样由 $n$ 个线性独立的特征向量作为列向量所构成的矩阵 $S$ 才是可逆矩阵，才存在矩阵 $S^{-1}$ ，以上公式才成立

以上公式也可以写成矩阵分解的形式 $A=S \Lambda S^{-1}$

提示

当矩阵 $A$ 的特征值 $\lambda_{i}$ 互不相同时（即没有重复的特征值），则矩阵 $A$ 必有 $n$ 个相互线性独立的特征向量（该矩阵 $A$ 可以对角化 diagonalizable）

而对于矩阵存在重复特征值时，则矩阵 $A$ 不一定存在 $n$ 个线性独立的特征向量，需要计算出具体的特征向量才可以判断

矩阵对角化（分解形式）使得对理解/计算/分析对于求解方程有更好的方法

对于高阶矩阵可以分解为 $A^{k}=S \Lambda^{k} S^{-1}$ ，可以用于求解（一阶）差分方程（等比递推关系式）
马尔可夫矩阵
马尔可夫矩阵是满足以下两条性质的一种特殊矩阵
- 每个元素都是非负数（大于或等于 $0$ ）
- 每列元素之和为 $1$
这种矩阵与概率相关，可用于描述随时间变化的系统
马尔可夫矩阵具有以下一些特性
- 马尔可夫矩阵 $A$ 的平方 $A^{2}$ （或更高次幂 $A^{k}$ ），其结果矩阵依然是马尔科夫矩阵
- $\lambda = 1$ 是马尔科夫矩阵的其中一个特征值
- 除此之外，其他特征是都比 $1$ 小 $\left |\lambda_{i} \right | < 1$
利用以上特性可以更快地求出这类型矩阵的特征值和特征向量，以便对系统的变化趋势进行研究
对于指数矩阵可以分解为 $e^{At}=Se^{\Lambda t}S^{-1}$ ，可以用于求解（一阶）微分方程

复向量

复向量 complex vector 是指构成向量的元素中含有复数

复向量 $z=\begin{bmatrix} z_{1} \\ z_{2} \\ \vdots \\ z_{n} \end{bmatrix}$ 在 $n$ 维复数向量空间 $\mathbb{C}^{n}$ 中，而不是 $\mathbb{R}^{n}$ 实数向量空间中

模长

它的模长（平方）计算方式需要进行「修整」为共轭向量（的转置）与向量本身相乘

提示

实数向量 $v$ 模长与向量的平方的关系 $\|v\|^{2}=v^{T}v$ （从矩阵相乘的角度考虑，其中一个向量需要转置）

\begin{aligned} \|z\|^{2}&=\overline{z}^{T}z \\ &=\|z_{1}\|^{2}+\|z_{2}\|^{2}+\dots+\|z_{n}\|^{2} \end{aligned}

可以使用更简单的符号 $z^{H}$ 表示共轭向量的转置 $\overline{z}^{T}$ （包含两种运算），该符号读作 Hermitian 埃尔米特

所以复向量的模长平方也可以表示为 $\|z\|^{2}=z^{H}z$

内积

复向量的内积计算公式也需要进行「修整」为共轭向量

提示

实数向量的内积 inner product/dot product 计算公式 $y^{T}x$

\overline{y}^{T}x=\overline{y}_{1}x_{1}+\overline{y}_{2}x_{2}+\dots+\overline{y}_{n}x_{n}

内积也可以使用 hermitian 符号表示 $y^{H}x$

复矩阵

复矩阵 complex matrix 是指构成矩阵的元素中含有复数。

埃尔米特矩阵

在复矩阵中，对称矩阵称为 Hermitain Matrix 埃尔米特矩阵，所满足的等式是 $\overline{A}^{T}=A$ 也可以简写为 $A^{H}=A$

提示

在复矩阵中的 Hermitain Matrix 埃尔米特矩阵，与实数矩阵中的对称矩阵具有类似的特性，即它的特征值 eigenvalue 是实数，特征向量 eigenvector 相互垂直/正交

酉矩阵

在复矩阵中，标准正交矩阵称为 Unitarty Matrix 酉矩阵，所满足的等式可以简写为 $Q^{H}Q=I$

酉矩阵的各个列向量相互垂直/正交，且各列向量的模长为 $1$

提示

傅里叶矩阵 $F_{n}$ 是一个重要的矩阵，它属于酉矩阵（正交矩阵），用于傅里叶变换中

F_{n}= \begin{bmatrix} 1 & 1 & 1 & 1 & 1 \\ 1 & w & w^{2} & \dots & w^{n-1} \\ 1 & w^{2} & w^{4} & \dots & w^{2(n-1)} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 1 & w^{n-1} & w^{2(n-1)} & \dots & w^{(n-1)^{2}} \end{bmatrix}

其中各元素的通式是 $(F_{n})_{ij}=w^{ij}$ （其中 $i,j=0, \dots, n-1$ ，索引值从 $0$ 开始）

以上通过将傅里叶矩阵进行分解而降低运算复杂度的算法/步骤，称为快速傅里叶变换 Fast Fourier Transform，简称为 FFT

相似矩阵

如果存在一个矩阵 $M$ 它具有可逆矩阵 $M^{-1}$ ，使得 $B=M^{-1}AM$ 成立，则两个方阵 $A$ 和 $B$ 相似

相似矩阵都具有相同的特征值，且线性无关/独立的特征向量的数量也一样

若尔当形

若尔当块 Jordan block 是一个矩阵 $j_{i}$ 它在对角线上是重复的特征值，左下方元素都是 $0$ ，右上方紧挨着对角线的元素都是 $1$ ，其余都是 $0$

J_{i}= \begin{bmatrix} \lambda_{i} & 1 & 0 & \dots & 0 \\ 0 & \lambda_{i} & 1 & \dots & 0 \\ \vdots & \vdots & \ddots & \vdots & \vdots \\ 0 & 0 & \dots & \lambda_{i} & 1 \\ 0 & 0 & \dots & 0 & \lambda_{i} \end{bmatrix}

若尔当理论是指每一个方阵 $A$ 都相似于一个若尔当矩阵 $J$ ，而这个若尔当矩阵是由若干个若尔当块 Jordan Blocks 构成的。

J= \begin{bmatrix} J_{1} & 0 & \dots & 0 \\ 0 & J_{2} & \dots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \dots & J_{d} \end{bmatrix}

可以对原矩阵按照若尔当块进行划分，如果两个矩阵是由不同的若尔当块构成的，那么即使它们矩阵相同的特征值和特征向量，也不能说明它们是相似矩阵

计算若尔当矩阵的思路：

如果方阵 $A_{n \times n}$ 含有 $n$ 个线性独立的特征向量，则它是可对角化的，那么它所对应的若尔当矩阵 $J$ 是特征值矩阵（对角矩阵） $J=\Lambda$
如果方阵 $A_{n \times n}$ 有 $n$ 个重复的特征指，则相应地会有 $n$ 个「缺失」的特征向量（这里指的是特征向量线性相关），则在若尔当矩阵 $J$ 中将会有 $n-d$ 个 $1$ 位于对角元素的右上方

奇异值分解

奇异值分解 singular value decomposition，简称为 SVD，是将矩阵分解的一种方式

A=U \Sigma V^{T}

其中 $A$ 是任意矩阵， $\Sigma$ 是对角矩阵， $U$ 和 $V$ 是正交矩阵

奇异值分解的目的作用

奇异值分解的作用是通过矩阵 $A$ 将向量 $v_{i}$ 线性变换为向量 $u_{i}$ ，该操作将四个基本子空间联系起来了

其中这些向量是位于四个基本子空间的正交基：

向量 $v_{1}, v_{2}, \dots v_{r}$ 是行空间的标准正交基（行空间的维度是 $r$ ），而向量 $v_{r+1}, \dots v_{n}$ 是零空间的标准正交基（零空间的维度是 $n-r$ ）
向量 $u_{1}, u_{2}, \dots u_{r}$ 是列空间的标准正交基（列空间的维度是 $r$ ），而向量 $u_{r+1}, \dots u_{m}$ 是左零空间的标准正交基（左零空间的维度是 $m-r$ ）

奇异值分解的步骤

在求解（奇异值分解后的）各个矩阵时，通过对等式 $A=U \Sigma V^{T}$ 的变换，消去部分的矩阵，以降低求解的难度

提示

根据等式 $A=U \Sigma V^{T}$ 可得矩阵 $A$ 的转置为 $A^{T}=(U \Sigma V^{T})^{T}=(V^{T})^{T} \Sigma^{T} U^{T}=V \Sigma^{T} U^{T}$

求解矩阵 $V$ 时，可以在等式两边同时乘上 $A^{T}=V \Sigma^{T} U^{T}$ $A^{T}A=V \Sigma^{T} U^{T} U \Sigma V^{T}$
由于矩阵 $U$ 是正交矩阵，则 $U^{T}=U^{-1}$ 所以以上等式可以进一步化简 $\begin{aligned} A^{T}A&=V \Sigma^{T} U^{T} U \Sigma V^{T} \\ &=V \Sigma^{T} U^{-1} U \Sigma V^{T} \\ &=V \Sigma^{T} \Sigma V^{T} \end{aligned}$
由于矩阵 $\Sigma^{2 \times 2}$ 是对角矩阵（除了对角线上的元素，其他元素都是 $0$ ），则 $\Sigma=\Sigma^{T}$ 所以以上等式可以进一步化简 $\begin{aligned} A^{T}A&=V \Sigma^{T} \Sigma V^{T} \\ &=V \Sigma^{2} V^{T} \\ &=V \begin{bmatrix} \sigma_{1}^{2} & 0 \\ 0 & \sigma_{2}^{2} \end{bmatrix} V^{T} \end{aligned}$
由于 $A^{T}A$ 是对称矩阵，所以以上等式其实就是对称矩阵的对角化 $Q \Lambda Q^{T}$ 形式
所以矩阵 $V$ 就是对称矩阵 $A^{T}A$ 的特征向量矩阵
求解矩阵 $U$ 时，类似地，可以通过构造矩阵 $AA^{T}$ 来消去矩阵 $V$ ，矩阵 $U$ 是对称矩阵 $AA^{T}$ 的特征向量矩阵
矩阵 $\Sigma^{2}$ 是对称矩阵 $A^{T}A$ （或 $A^{T}A$ ）的特征值矩阵。
所以矩阵 $\Sigma$ 是对角矩阵，其对角线上的元素是对称矩阵 $A^{T}A$ （或 $A^{T}A$ ）的特征值矩阵对角线上元素的正平方根
AB 与 BA 具有相同特征值
矩阵 $\Sigma^{2}$ 是对称矩阵 $A^{T}A$ 或 $A^{T}A$ 的特征值矩阵，也就是说矩阵 $A^{T}A$ 与 $A^{T}A$ 具有相同的特征值。
其中对于任意可逆矩阵 $B$ ，矩阵 $AB$ 与 $BA$ 都是具有相同特征值
证明方法参考这一篇文章
分别通过特征方程 $det(AB-\lambda I)=0$ 和 $det(BA-\lambda I)=0$ 求出矩阵 $AB$ 和 $BA$ 的所有特征值
由于矩阵 $B$ 是可逆矩阵，所以存在 $B^{-1}$ ，且 $det(B^{-1}) \neq 0$
根据行列式特性9可知 $det(AB-\lambda I)det(B^{-1})=det((AB-\lambda I)B^{-1})=det(A-\lambda B^{-1})$ ，同理可知 $det(B^{-1})det(BA-\lambda I)=det(B^{-1}(BA-\lambda I))=det(A-\lambda B^{-1})$
所以 $det(AB-\lambda I)det(B^{-1})=det(A-\lambda B^{-1})=det(B^{-1})det(BA-\lambda I)$
由于 $det(B^{-1}) \neq 0$ 所以 $det(AB-\lambda I)=det(BA-\lambda I)$ 所以对于任意满足特征方程 $det(AB-\lambda I)=0$ 的特征值 $\lambda_{i}$ 也满足特征方程 $det(BA-\lambda I)=0$ 即矩阵 $AB$ 与 $BA$ 具有相同的特征值

另一种解法

也可以先通过构造矩阵 $A^{T}A$ 求出矩阵 $V$ 和 $\Sigma$

然后再通过 $AV=U\Sigma$ 来求出矩阵 $U$

线性变换

线性变换 linear Transformation 操作记作 $T$ ，它需要满足以下两个公式

$T(v+w)=T(v)+T(w)$
$T(cv)=cT(v)$

其中 $v$ 为输入值，经过线性变换 $T$ 的转换，得到输出值 $w$ （可以将 $v$ 和 $w$ 看作自变量和因变量，则 $T$ 就是函数）

提示

可以将线性变换理解为对于 相加（公式一） 和 数乘（公式二） 的操作运算是「闭合/封闭」的

将以上定义中的两个公式整合为一个公式 $T(cv+dw)=cT(v)+dT(w)$ ，其中 $c$ 和 $d$ 是标量，表示 scalar 变量的缩放系数

零点

对于任何线性变换，如果它们的输入值可以为 $0$ ，则经过线性转换后其结果必然为 $0$

因为线性变换需要满足公式 $T(c0)=cT(0)$ 解得 $T(0)=0$

构建矩阵描述线性变换

每个线性变换都可以生成/对应到一个矩阵，相应地每一种线性变换都是对一个矩阵乘法运算 $T(v)=Av$ 的一种抽象描述

使用一个矩阵 $A$ 表示/描述一种线性变换 $T: \mathbb{R}^{n} \longrightarrow \mathbb{R}^{m}$ 需要执行以下步骤：

首先需要引入坐标系（即将向量表示为坐标值形式）
根据以上「坐标系」的介绍，需要分别为空间 $\mathbb{R}^{n}$ 和空间 $\mathbb{R}^{m}$ 选取一组基向量，以表示空间中的任意向量
- $\mathbb{R}^{n}$ 空间中的一组基向量为 $v_{1} \dots v_{n}$
- $\mathbb{R}^{m}$ 空间中的一组基向量为 $w_{1} \dots w_{m}$
则这两个空间中的任意向量的坐标值形式为
- $\mathbb{R}^{n}$ 空间中的任意向量 $v=c_{1}v_{1}+\dots+c_{n}v_{n} \Leftrightarrow v=\begin{bmatrix} c_{1} \\ \vdots \\ c_{n} \end{bmatrix}$
- $\mathbb{R}^{m}$ 空间中的任意向量 $w=d_{1}w_{1}+\dots+d_{m}w_{m} \Leftrightarrow w=\begin{bmatrix} d_{1} \\ \vdots \\ d_{m} \end{bmatrix}$
构建出表示线性变换的矩阵
由于线性变换的作用是将原向量 $v$ 映射到 $\mathbb{R}^{m}$ 空间中，那么所得的结果向量 $T(v)$ 可以使用 $\mathbb{R}^{m}$ 空间中的一组基向量 $w_{1} \dots w_{m}$ 来表示，例如对于第一个基向量 $v_{1}$ 进行线性变换，可以将结果向量表示为 $T(v_{1})=a_{11}w_{1}+a_{21}w_{2}+ \dots + a_{1m}w_{m}$
根据前面「补充知识」里的分析，为了描述一个线性变换，需要确定一组基向量，并知道它们相应的变换结果，所以还需要计算 $\mathbb{R}^{n}$ 空间中的一组基向量为 $v_{1} \dots v_{n}$ 的线性变换结果（用 $\mathbb{R}^{m}$ 空间中的一组基向量表示） $\begin{aligned} \left\{\begin{matrix} T(v_{1})={\color{Blue}a_{11} }w_{1}+{\color{Blue}a_{21} }w_{2}+ \dots + {\color{Blue}a_{m1} }w_{m} \\ T(v_{2})={\color{Green}a_{12} }w_{1}+{\color{Green}a_{22} }w_{2}+ \dots + {\color{Green}a_{m2} }w_{m} \\ \vdots \\ T(v_{i})={\color{Red}a_{1i} }w_{1}+{\color{Red}a_{2i} }w_{2}+ \dots + {\color{Red}a_{mi} }w_{m} \\ \vdots \\ T(v_{n})=a_{1n}w_{1}+a_{2n}w_{2}+ \dots + a_{mn}w_{m} \\ \end{matrix}\right. \end{aligned}$
类比向量「坐标化」的方法，提取各个基向量的系数构成了矩阵 $A$ 中各个元素的值，其规则是
- 第一个基向量 $v_{1}$ 线性变换所得的结果表达式中的系数作为矩阵 $A$ 的第一列 $\begin{bmatrix} {\color{Blue}a_{11} } \\ {\color{Blue}a_{21} } \\ {\color{Blue}\vdots } \\ {\color{Blue}a_{m1} } \end{bmatrix}$
- 第二个基向量 $v_{1}$ 线性变换所得的结果表达式中的系数作为矩阵 $A$ 的第一列 $\begin{bmatrix} {\color{Green}a_{12} } \\ {\color{Green}a_{22} } \\ {\color{Green}\vdots } \\ {\color{Green}a_{m2} } \end{bmatrix}$
- 依此类推
$A= \begin{bmatrix} {\color{Blue}a_{11} } & {\color{Green}a_{12} } & \dots & {\color{Red}a_{1i} } & \dots & a_{1n} \\ {\color{Blue}a_{21} } & {\color{Green}a_{22} } & \dots & {\color{Red}a_{2i} } & \dots & a_{2n} \\ {\color{Blue}\vdots } & {\color{Green}\vdots } & \vdots & {\color{Red}\vdots } & \vdots & \vdots \\ {\color{Blue}a_{m1} } & {\color{Green}a_{m2} } & \dots & {\color{Red}a_{mi} } & \dots & a_{mn} \end{bmatrix}$

提示

如果所选取的一组基向量正好是该矩阵的特征向量，则线性变换所对应的矩阵是对角矩阵 $\Lambda$ ，其对角线上的元素就是特征值

提示

如果线性变换是存在「可逆操作」的，则表示该线性变换的矩阵就是可逆的（具有逆矩阵）

提示

两个线性变换的乘积，可以对应于两个矩阵的乘积

基变换

可以通过公式 $x=Wc$ 对向量 $x$ 进行基变换，其中矩阵 $W$ 是由一组新的基向量构成（作为矩阵的列向量），列向量 $c$ 为这一组新的基向量的线性组合的系数构成

基变换与线性变换

当基向量为 $v_{1}, v_{2}, \dots, v_{8}$ 时，线性变换 $T$ 对应的矩阵为 $A$ ；而选择基向量为 $w_{1}, w_{2}, \dots, w_{8}$ 时，则同样的线性变换 $T$ 所对应的矩阵为 $B$ ，那么这两个矩阵的关系时相似矩阵，即存在一个可逆矩阵 $M$ 使得等式成立 $B=MAM^{-1}$ ，其实 $M$ 为实现基变换矩阵（即新的一组基向量作为列向量构成的矩阵）

如果使用线性变换所对应的矩阵的特征向量作为该空间的一组基向量，则该线性变换所对应的矩阵就是一个对角矩阵，该矩阵（对角线上的）元素是特征值 $A=\Lambda$ 那么这一组基向量可以称得上是一组 good base 「好」的基向量，因为进行基变换时（ $x=Ac$ 所乘的矩阵是一个对角矩阵）易于计算。