L33-左右逆和伪逆
参考
若矩阵 是可逆矩阵/非奇异矩阵,则它的逆矩阵(假设其左逆矩阵) 满足
求解逆矩阵
当矩阵 满秩(行满秩和列满秩 )时,它具有左右逆 2-sided inverse 且它们是相同的
提示
当矩阵同时存在左右逆时,表示 矩阵行满秩和列满秩,则矩阵必为方阵
当矩阵 列满秩时 ,则矩阵存在左逆 left inverse (但不存在右逆,因为行不满秩),它满足
左逆可以用矩阵 及其转置 所构成的表达式来表示
证明
或许有其他形式的左逆表达式,但是以上的形式更佳/更通用
当矩阵 列满秩时,矩阵 是可逆的,则对称矩阵 (它将形状为长方形的矩阵 转换为方阵)也是可逆的(证明可参考 L16-投影矩阵与最小二乘法),所以存在
则表达式 满足
即它与矩阵 相乘的结果是 ,根据逆矩阵的定义,所以该表达式就是矩阵 的左逆
提示
如果将左逆(以上表达式) 乘到矩阵 的右边,则所得的结果矩阵是投影矩阵
该投影矩阵的作用是将该空间的向量投影到矩阵 的列空间中
当矩阵 行满秩时 ,则矩阵存在右逆 right inverse (但不存在左逆,因为列不满秩),它满足
右逆可以用矩阵 及其转置 所构成的表达式来表示
证明
或许有其他形式的右逆表达式,但是以上的形式更佳/更通用
当矩阵 行满秩时,矩阵 是可逆的,则对称矩阵 (它将形状为长方形的矩阵 转换为方阵)也是可逆的(证明可参考 L16-投影矩阵与最小二乘法),所以存在
则表达式 满足
即矩阵 与它相乘的结果是 ,根据逆矩阵的定义,所以该表达式就是矩阵 的右逆
提示
如果将右逆(以上表达式) 乘到矩阵 的左边,则所得的结果矩阵是投影矩阵
该投影矩阵的作用是将该空间的向量投影到矩阵 的行空间中
根据前面的分析,可知
- 当一个矩阵满秩时 它存在左逆和右逆,则它的零空间和左零空间都只有一个零向量
- 当一个矩阵列满秩时 它存在左逆,则它的零空间 nullspace 只有一个零向量(即对于方程组 未知数 的解只能是零向量)
- 当一个矩阵行满秩时 它存在右逆,则它的右零空间 left nullspace 只有一个零向量(即对于方程组 未知数 的解只能是零向量)
那么当一个矩阵的零空间或左零空间具有非零向量,则表示该矩阵不可逆(没有左逆或右逆),从求解方程组的角度来理解也是一样的
当矩阵 列不满秩且行不满秩时 ,则在矩阵 的零空间和左零空间中,除了零向量以外,都还存在非零的向量,则矩阵 不可逆。可以将零空间存在着非零向量看作是「毁掉」了逆矩阵的存在性。
如果不把零空间(和左零空间)纳入考虑,将矩阵 看作仅作用于行空间中的向量,即通过 将行空间向量 (可逆地)映射到列空间中,则存在矩阵可以实现逆方向的映射,该矩阵称为矩阵 的伪逆 pseudoinverse,记作
提示
如果向量 取自行空间(以列向量的形式表示),则通过转换计算 可以映射到列空间中,因为从线性变换的角度来看待表达式 它是对矩阵 的各列向量进行线性组合,所以结果向量依然在列空间中
向量从行空间映射到列空间的转换是可以实现一一对应的,由于行空间和列空间的维度都是 (矩阵的秩),所以可以基于行空间的所有向量,通过 转换,得到一个完整的列空间
证明
若向量 和 在行空间中不相等 ,则转换到列空间的向量 和 也是不相等的 即通过矩阵 从行空间映射到列空间的转换是可以实现一一对应的
反证法:
- 首先假设 成立,可得 即 在矩阵 的零空间中
- 根据题设,向量 和 在行空间中,则它们的线性组合 依然在行空间中
- 同时在零空间和行空间的向量只能是零向量,即 所以 与题设矛盾
如果将矩阵 的映射作用局限/约束在行空间和列空间(向量),则它可以实现 从行空间到列空间的映射。那么它存在伪逆 可以实现反方向的映射,例如满足
提示
伪逆对于统计学家在处理线性回归时非常有用,因为他们所接触的矩阵可能无法保证列满秩,但伪逆的存在可以让逆映射成为可能
求矩阵 的其中一种方法是通过 SVD 奇异值分解 对矩阵进行拆分,只对可逆矩阵求逆,而对于不可逆的矩阵求伪逆
对于矩阵 的 SVD 奇异值分解形式 ,其中 和 都是正交矩阵,它们都是可逆的,可以直接求出逆矩阵;而 是对角矩阵,它可能是不可逆的
矩阵 对角线上的元素是矩阵 的特征值(最后可能还有 元素,当矩阵 时,则对角线上的右下角会有 个零元素)
则对于矩阵 需要求它的伪逆 其表达式如下(对角线上的元素取倒数)
伪逆的作用和逆矩阵的作用相似,所以 的结果会接近于单位矩阵
伪逆可以与原矩阵进行左右相乘,分别得到不同作用的投影矩阵
- 如果伪逆 与原矩阵左乘 它可以得到一个(近似于单位矩阵) 的矩阵,它是一个投影矩阵,其的作用是将向量投影到行空间
- 如果伪逆 与原矩阵右乘 它可以得到一个(近似于单位矩阵) 的矩阵,它是一个投影矩阵,其的作用是将向量投影到列空间
提示
虽然伪逆还有其他形式的表达式,即对角线上最后的 元素 可以替换为非零元素,但是以上的形式可以让伪逆的作用更接近于真正的逆矩阵,即与原矩阵相乘的结果与单位矩阵更相似
根据以上的分析,可以得到矩阵 的伪逆