L24-马尔可夫矩阵与傅立叶级数-习题集

linear-algebra

L24-马尔可夫矩阵与傅立叶级数-习题集

参考

问题 24.1

  1. 对称矩阵 [1bb1]\begin{bmatrix} 1 & b \\ b & 1 \end{bmatrix} 满足何种条件时,会含有一个负数的特征值
  2. 如果以上对称矩阵含有一个负数的特征值时,为何它必定会有一个负数的主元
  3. 为何以上对称矩阵的两个特征值都不能同时为负数

解答一

通过求解特征方程 det(AλI)=0det(A-\lambda I)=0 得到所有特征值

d(AλI)=[1λbb1λ]=(1λ)2b2=0\begin{aligned} d(A-\lambda I)&= \begin{bmatrix} 1- \lambda & b \\ b & 1- \lambda \end{bmatrix} \\ &=(1-\lambda)^{2}-b^{2} \\ &=0 \end{aligned}

解得 λ1=1b\lambda_{1}=1-bλ2=1+b\lambda_{2}=1+b

  • b>1b>1 时,λ1=1b<0\lambda_{1}=1-b<0 为负数,满足题设
  • b<1b < -1 时,λ2=1+b\lambda_{2}=1+b 为负数,满足题设

解答二

通过初等矩阵将原矩阵转换为上三角矩阵 UU 的形式,则对角线上的元素就是主元

A=[1bb1]E[1b01b2]=UA=\begin{bmatrix} 1 & b \\ b & 1 \end{bmatrix} \xrightarrow{\text{E}} \begin{bmatrix} 1 & b \\ 0 & 1-b^{2} \end{bmatrix}= U

所以矩阵 AA 的主元是 111b21-b^{2}

由第 1 问可知,当矩阵含有一个负数的特征值,则 b>1b>1b<1b < -1,那么 1b2<01-b^{2}<0 必定是负数,即矩阵必定会有一个负数的主元

解答三

由第 1 问可知,对称矩阵的特征值是 λ1=1b\lambda_{1}=1-bλ2=1+b\lambda_{2}=1+b

  • 如果第一个特征值 λ1\lambda_{1} 为负数时,则 1b<01-b<0b>1b>1,此时第二个特征值 λ2=1+b>0\lambda_{2}=1+b>0 为正数
  • 如果第二个特征值 λ2\lambda_{2} 为负数时,则 1+b<01+b<0b<1b < -1,此时第一个特征值 λ1=1b>0\lambda_{1}=1-b>0 为正数

所以该对称矩阵的两个特征值不能同时为负数

问题 24.2

对于以下两个矩阵 AABB

A=[001010100],B=13[111111111]A= \begin{bmatrix} 0 & 0 & 1 \\ 0 & 1 & 0 \\ 1 & 0 & 0 \end{bmatrix}, B= \cfrac{1}{3} \begin{bmatrix} 1 & 1 & 1 \\ 1 & 1 & 1 \\ 1 & 1 & 1 \end{bmatrix}

它们归属于以下哪些类型的矩阵:

  • invertible 可逆矩阵
  • orthogonal 正交矩阵
  • projection 投影矩阵
  • permutation 置换矩阵
  • diagonalizable 可对角化矩阵

它们可以进行以下哪些形式的分解:

  • LULU 分解为两个对角矩阵
  • QRQR Gram-Schmidt 正交化
  • SΛS1S \Lambda S^{-1} 对角化
  • QΛQTQ \Lambda Q^{T} 一种特殊的对角化(其中 QQ 为正交矩阵,即特征向量之间相互垂直)

解答

提示

不同类型的矩阵有不同的定义和特性:

  • 可逆矩阵的各个行向量之间是相互独立的(对于各个列向量也是一样的)
  • 正交矩阵的各个列向量之间相互垂直
  • 投影矩阵满足 PT=PP^{T}=PP2=PP^{2}=P
  • 置换矩阵是由单位矩阵经过行交换而得到的
  • 可对角化矩阵需要满足其各个特征值都不相同

在介绍特征值和特征向量的课堂上有关于对称矩阵的例子,但并没有深入研究

其实对称矩阵满足以下特点:

  • 对称矩阵的特征值都是实数
  • 对称矩阵的特征向量是相互垂直

所以对称矩阵的对角化 SΛS1S \Lambda S^{-1} 可以写成 QΛQTQ \Lambda Q^{T} 形式,因为特征向量矩阵 SS 中各个列向量之间相互垂直,所以它也是垂直矩阵

矩阵 A

关于矩阵 AA 归属于哪些类型的矩阵:

  • 观察矩阵 AA 的列向量,它们之间是相互线性独立的(对于行向量也一样),所以矩阵 AA 是可逆矩阵。
    也可以通过计算矩阵 AA 的特征值 detA=10detA=-1 \ne 0 得到矩阵 AA 为可逆矩阵
  • 对于正交矩阵的定义 QTQ=IQ^{T}Q=I 来判断矩阵 AAATA=[001010100][001010100]=[100010001]=I\begin{aligned} A^{T}A&= \begin{bmatrix} 0 & 0 & 1 \\ 0 & 1 & 0 \\ 1 & 0 & 0 \end{bmatrix} \begin{bmatrix} 0 & 0 & 1 \\ 0 & 1 & 0 \\ 1 & 0 & 0 \end{bmatrix} \\ &= \begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{bmatrix} \\ &=I \end{aligned}
    所以矩阵 AA 是正交矩阵
  • 投影矩阵会满足两个特性 PT=PP^{T}=PP2=PP^{2}=P
    虽然矩阵 AA 满足 AT=AA^{T}=A
    但是对于 A2A^{2}A2=[001010100][001010100]=[100010001]=IA\begin{aligned} A^{2}&= \begin{bmatrix} 0 & 0 & 1 \\ 0 & 1 & 0 \\ 1 & 0 & 0 \end{bmatrix} \begin{bmatrix} 0 & 0 & 1 \\ 0 & 1 & 0 \\ 1 & 0 & 0 \end{bmatrix} \\ &= \begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{bmatrix} \\ &=I \ne A \end{aligned}
    所以矩阵 AA 不是投影矩阵
  • 由于矩阵 AA 可以通过 3×33 \times 3 的单位向量 II 通过第一行和第三行之间的对调而得到,所以矩阵 AA 是置换矩阵
  • 由于矩阵 AA 是对称矩阵,所以它是可对角化矩阵

关于矩阵 AA 可以进行哪些形式的分解:

  • 由于矩阵 AA 的第一个元素 a11=0a_{11}=0 所以无法进行消元步骤,所以无法分解为 LULU 形式(如果需要执行消元步骤,则先需要进行行置换操作,即 PA=LUPA=LU
  • 由于矩阵 AA 的各个列向量都是相互独立的,所以可以进行 Gram-Schmidt 正交化分解 A=QRA=QR
  • 由于矩阵 AA 是对称矩阵,所以它可以进行对角化分解 A=SΛS1A=S \Lambda S^{-1}
  • 由于矩阵 AA 是对称矩阵,所以它的各个特征向量都是相互垂直的,即对角化分解可以写成 A=QΛQTA=Q \Lambda Q^{T}

矩阵 B

关于矩阵 BB 归属于哪些类型的矩阵:

  • 观察矩阵 BB 的列向量,它们之间是线性相关的,所以矩阵 BB 不是可逆矩阵。
    也可以通过计算矩阵 BB 的特征值 detB=0detB=0 得到矩阵 BB 为奇异矩阵
  • 对于正交矩阵的定义 QTQ=IQ^{T}Q=I 来判断矩阵 BBBTB=(13[111111111])(13[111111111])=19[333333333]=13[111111111]I\begin{aligned} B^{T}B&= (\cfrac{1}{3} \begin{bmatrix} 1 & 1 & 1 \\ 1 & 1 & 1 \\ 1 & 1 & 1 \end{bmatrix}) (\cfrac{1}{3} \begin{bmatrix} 1 & 1 & 1 \\ 1 & 1 & 1 \\ 1 & 1 & 1 \end{bmatrix}) \\ &= \cfrac{1}{9} \begin{bmatrix} 3 & 3 & 3 \\ 3 & 3 & 3 \\ 3 & 3 & 3 \end{bmatrix} \\ &= \cfrac{1}{3} \begin{bmatrix} 1 & 1 & 1 \\ 1 & 1 & 1 \\ 1 & 1 & 1 \end{bmatrix} \\ &\ne I \end{aligned}
    所以矩阵 BB 是正交矩阵
  • 投影矩阵会满足两个特性 PT=PP^{T}=PP2=PP^{2}=P
    观察矩阵 BB 可知满足 BT=BB^{T}=B
    而对于 B2B^{2}B2=(13[111111111])(13[111111111])=19[333333333]=13[111111111]=B\begin{aligned} B^{2}&= (\cfrac{1}{3} \begin{bmatrix} 1 & 1 & 1 \\ 1 & 1 & 1 \\ 1 & 1 & 1 \end{bmatrix}) (\cfrac{1}{3} \begin{bmatrix} 1 & 1 & 1 \\ 1 & 1 & 1 \\ 1 & 1 & 1 \end{bmatrix})\\ &= \cfrac{1}{9} \begin{bmatrix} 3 & 3 & 3 \\ 3 & 3 & 3 \\ 3 & 3 & 3 \end{bmatrix} \\ &= \cfrac{1}{3} \begin{bmatrix} 1 & 1 & 1 \\ 1 & 1 & 1 \\ 1 & 1 & 1 \end{bmatrix} \\ &=B \end{aligned}
    矩阵 BB 满足 B2=BB^{2}=B
    所以矩阵 BB 是投影矩阵
    投影矩阵

    投影矩阵 PP 是相对于原矩阵 AA 而言的,其作用是将向量 bb 投影到矩阵 AA 的列空间中

    投影矩阵的表达式为 P=A(ATA)1ATP=A(A^{T}A)^{-1}A^{T} 该矩阵满足上述的两条特性,但是是否为充要条件在课程中并未证明

  • 由于矩阵 BB 不可以基于单位向量 II 的行置换而得到,所以矩阵 BB 不是置换矩阵
  • 由于矩阵 BB 是对称矩阵,所以它是可对角化矩阵

关于矩阵 BB 可以进行哪些形式的分解:

  • 矩阵 BB 可以通过执行消元步骤分解为 LULU 形式(只是所得的 UU 仅有一个主元,由于原矩阵 BB 是一个奇异矩阵,它的列向量之间线性相关)
  • 由于矩阵 BB 的列向量是线性相关的,所以不能进行 Gram-Schmidt 正交化分解
  • 由于矩阵 BB 是对称矩阵,所以它可以进行对角化分解 B=SΛS1B=S \Lambda S^{-1}
  • 由于矩阵 BB 是对称矩阵,所以它的各个特征向量都是相互垂直的,即对角化分解可以写成 B=QΛQTB=Q \Lambda Q^{T}

问题 24.3

补全以下马尔可夫矩阵 AA

[0.70.10.20.10.60.3]\begin{bmatrix} 0.7 & 0.1 & 0.2 \\ 0.1 & 0.6 & 0.3 \\ \rule{1em}{0.4pt} & \rule{1em}{0.4pt} & \rule{1em}{0.4pt} \end{bmatrix}

对于差分方程 uk+1=Auku_{k+1}=Au_{k} 当数列项的值趋于稳态 steady state 时,所对应的特征向量的值。

提示

该特征向量的值为 x1=[11]x_{1}=\begin{bmatrix} 1 \\ \vdots \\ 1 \end{bmatrix}

解答

根据马尔科夫矩阵的定义(列向量的各元素之和为 11)可以补全矩阵 AA

[0.70.10.20.10.60.30.20.30.5]\begin{bmatrix} 0.7 & 0.1 & 0.2 \\ 0.1 & 0.6 & 0.3 \\ 0.2 & 0.3 & 0.5 \end{bmatrix}

观察可知矩阵 AA 为对称矩阵

由之前的课程可知等差方程 uk+1=Auku^{k+1}=Au_{k} 的通解形式为

uk=Aku0=c1λ1kx1+c2λ2kx2++cnλnkxn\begin{aligned} u_{k}&=A^{k}u_{0} \\ &=c_{1}\lambda_{1}^{k}x_{1}+c_{2}\lambda_{2}^{k}x_{2}+\dots+c_{n}\lambda_{n}^{k}x_{n} \end{aligned}

由于马尔可夫矩阵具有特征值 λ=1\lambda=1 而其他特征值满足 λi<1\left |\lambda_{i} \right | < 1

所以当 kk \to \infty 时,数列项的稳态为 ukc1x1u^{k} \to c_{1}x_{1}

其中 x1x_{1} 是矩阵 AA 的特征值为 λ1=1\lambda_{1}=1 所对应的特征向量

所以这里的关键是要求出 x1x_{1}

可以通过求解方程 (A1I)x=0(A-1 \cdot I)x=0 得到

由于矩阵 AA 是马尔可夫矩阵,满足每列元素之和为 11,则从行向量的角度来考虑,它们的一种线性组合满足为 row1+row2++rown=[111]row_{1}+row_{2}+ \dots + row_{n}=\begin{bmatrix} 1 & 1 & \dots & 1 \end{bmatrix}

其中线性组合的各个系数都为 11[111]A=[111][0.70.10.20.10.60.30.20.30.5]=[111]\begin{bmatrix} 1 & 1 & 1\end{bmatrix}A=\begin{bmatrix} 1 & 1 & 1\end{bmatrix}\begin{bmatrix} 0.7 & 0.1 & 0.2 \\ 0.1 & 0.6 & 0.3 \\ 0.2 & 0.3 & 0.5 \end{bmatrix}=\begin{bmatrix} 1 & 1 & 1 \end{bmatrix}

那么对于矩阵 AIA-I 各行向量的对应的线性组合为 row1+row2++rown=[000]row_{1}+row_{2}+ \dots + row_{n}=\begin{bmatrix} 0 & 0 & \dots & 0 \end{bmatrix}

其中线性组合的各个系数都为 11[111](AI)=[000]\begin{bmatrix} 1 & 1 & 1\end{bmatrix}(A-I)=\begin{bmatrix} 0 & 0 & 0 \end{bmatrix}

由于矩阵 AA 是对称矩阵,那么矩阵 AIA-I 也是对称矩阵,则根据上面所得的等式 [111](AI)=[000]\begin{bmatrix} 1 & 1 & 1\end{bmatrix}(A-I)=\begin{bmatrix} 0 & 0 & 0 \end{bmatrix} 可知 (AI)[111]=[000](A-I)\begin{bmatrix} 1 \\ 1 \\ 1\end{bmatrix}=\begin{bmatrix} 0 \\ 0 \\ 0 \end{bmatrix} 成立

x=[000]x=\begin{bmatrix} 0 \\ 0 \\ 0 \end{bmatrix} 是方程 (AI)x=0(A-I)x=0 的解,所以解得 x1=[000]x_{1}=\begin{bmatrix} 0 \\ 0 \\ 0 \end{bmatrix} 该特征向量对应于数据项的稳态 c1x1c_{1}x_{1} 中的向量


Copyright © 2024 Ben

Theme BlogiNote

Icons from Icônes