矩阵与向量相乘 $Ax=b$ 两种理解角度

• 矩阵基于向量的线性组合 Linear Combination：$x_{1} \overrightarrow{\mu }+x_{2} \overrightarrow{\nu }+x_{3} \overrightarrow{\omega } = b$，其中：$x_{1}$，$x_{2}$，$x_{3}$ 称为标量 scaler。
  可以用线性组合的观点来理解矩阵与向量相乘，将 A 看作是由列向量（$\overrightarrow{\mu }$、$\overrightarrow{\nu }$、$\overrightarrow{\nu }$）构成列数为 3 的矩阵，则向量 $x$ 各元素 $x_{1}$、$x_{2}$、$x_{3}$ 作为系数，因此矩阵与向量相乘 $Ax$ 是矩阵 $A$ 的各列基于向量 $x$ 的相应元素进行线性组合
  Subspace 子空间

  • $x_{1}\overrightarrow{\mu }$，$x_{2} \overrightarrow{\nu }$，$x_{3} \overrightarrow{\omega }$ 当 $x_{1}$，$x_{2}$，$x_{3}$ 取遍所有的 $R$ 上的值，分别会构成一条直线，称为一维子空间
  • 类似地，（如果 $\overrightarrow{\mu }$ 与 $\overrightarrow{\nu }$ 方向不同）$x_{1}\overrightarrow{\mu }$ 与 $x_{2} \overrightarrow{\nu }$ 构成一个平面
  • （如果 $\overrightarrow{\mu }$、$\overrightarrow{\nu }$、$\overrightarrow{\omega }$ 三者方向不同）而三者 $x_{1}\overrightarrow{\mu }$，$x_{2} \overrightarrow{\nu }$，$x_{3} \overrightarrow{\omega }$ 共同构成一个三维空间
• 向量基于矩阵的差异转换 different transform：如果矩阵为差异矩阵或求和矩阵，则矩阵与向量相乘所得到的结果向量，观察它各个元素，可以发现是由原向量的元素之间相减或相加构成的。
  因此这种特殊的矩阵与向量相乘 $Ax=b$，可以将矩阵 $A$ 看作是实现将向量 $x$ 到 $b$ 的转换；当矩阵为可逆矩阵 inverse 时，会有 $x=A^{-1}b$，相应地可以将矩阵 $A^{-1 }$ 看作是将向量 $b$ 到 $x$ 的转换

当矩阵 $A$ 为 $\begin{bmatrix} 1&0 &0 \\ -1&1 &0 \\ 0&-1 &1\end{bmatrix}$ 则有 $Ax=b$ 为

• 基于列形式，可以将矩阵看作是由列向量组成的，因此矩阵与向量相乘可以看作是矩阵的各列进行了线性组合。

• 基于行形式，矩阵与向量相乘，看作是矩阵的每一行与向量相乘（点乘）

向量空间是在线性组合下闭合的向量的集合，即由向量的所有可能的线性组合构成的。

子空间是指矩阵的列构成的向量，它们的所有可能的线性组成所覆盖的空间维度，如果低于向量原来可以表示的最大维度空间，则该子空间是真子空间。

对于矩阵 $C=\begin{aligned} \begin{bmatrix} 1& 0& -1\\-1& 1& 0\\0& -1& 1\end{bmatrix}\end{aligned}$ 每一列作为向量，分别是：

由于 $col3 = -(col1 + col2)$，因此矩阵 $C$ 的列组成的向量所有可能的线性组合得出的向量集合，覆盖的空间维度低于 $\mathbb{R}^{3}$，它是 $\mathbb{R}^{3}$ 的二维子空间。因此对于 $Cx=b$，会存在某些向量 $b$（不在矩阵 $C$ 构成的子空间/平面上的向量），使得无法求出 $x$ 让等式成立。

将矩阵 $Ax=b$ 形式写成方程组形式

根据前面的分析 $col3 = -(col1 + col2)$，即唯有向量 $b$ 各元素满足 $b_{1} + b_{2} + b_{3} = 0$ 时才可以求出对应的方程组解 $x$（向量）。

空间 $\mathbb{R}^{n}$ 的基 basis 是由 $n$ 个 $\mathbb{R}^{n}$ 维的「独立」向量组成。从矩阵的角度考虑，就是采用可逆矩阵的各列所组成的向量集合来作为基。