1.3-1.4 状态的分类、首达时、强马氏性

1.3 状态的分类

• 定义1. 若$P_i(\exists\ n \geq 0, X_n=j) >0$，则称 $i$ 可达 $j$，记作$i \rightarrow j$。

• 命题1. 假设$i \neq j$，那么$i \rightarrow j$与下列两条等价：

  （1）存在$n \geq 1$及$n+1$个不同状态$i_0,\cdots i_n$使得$i_0=i, i_n=j$且$p_{i_0i_1} >0, \cdots, p_{i_{n-1}i_n}$。

  （2）存在$n\geq 1$使得 $p_{ij}^{(n)}>0$。

• 定义2. 若$i \rightarrow j$且$j \rightarrow i$，则称$i$与$j$互通。若$S$中任意两个状态都互通，则称该马氏链不可约。

互通是等价关系，通过互通关系可将$S$划分为若干个互不相交的互通类。

• 定义3. 若$A\subseteq S$满足：$\sum_{j \in A} p_{ij} = 1, \forall i \in A$，则称$A$是一个闭集。

不是所有马氏链都有闭的互通类，例如：$S=\mathbf{Z}, p_{i, i+1} = 1$。

1.4 首达时与强马氏性

• 定义1. 令 $\tau _i := \inf\{n \geq0:X_n=i\}$表示$\{X_n\}$首次访问状态$i$的时间，称为首达时。
• 定义2. 令 $\sigma _i := \inf\{n \geq1:X_n=i\}$表示$\{X_n\}$首次进入状态$i$的时间，称为首入时。

$i$也可以拓展为一个集合$D$。

• 命题1. 在$\{\tau_i < \infty\}$发生的条件下，定义$Y_m := X_{\tau + m}$。则$\{Y_m\}$是一个从$i$出发的，以$P$为转移矩阵的马氏链，且它与$\vec{Z} = (X_0, \cdots, X_\tau)$相互独立。

此命题说的是马氏链在已知现在处于$i$状态的条件下依然是马氏链，且与过去的状态独立。

从命题1的证明中我们可以得到，最关键之处其实在于对任意的$X_0, \cdots, X_n$，我们都可以判断出$\tau_i$是否为$n$。满足这一性质的随机时间称为停时。

• 定义3. 若对任意$n \geq 0,i_0, \cdots, i_n \in S$，下列两种情况中恰一种成立，则称$\tau$为$\{X_n\}$的一个停时。

$$\{X_0 = i+0,X_1=i_1,\cdots,X_n=i_n\}\subseteq \{\tau \leq n\}$$

$$\{X_0 = i+0,X_1=i_1,\cdots,X_n=i_n\}\subseteq \{\tau \gt n\}$$

• 命题2. 若对任意$n \geq 0,i_0, \cdots, i_n \in S$，下列两种情况中恰一种成立，则$\tau$为$\{X_n\}$的一个停时。

$$\{X_0 = i+0,X_1=i_1,\cdots,X_n=i_n\}\subseteq \{\tau = n\}$$

$$\{X_0 = i+0,X_1=i_1,\cdots,X_n=i_n\}\subseteq \{\tau \neq n\}$$

• 命题3 (强马氏性). 假设$\tau$是$\{X_n\}$的一个停时。在事件$\{\tau < \infty\}$上，定义

$$Y_m := X_{\tau + m}, \ \vec{Z} = (X_0, \cdots, X_\tau)$$

​ 那么，在$\{\tau < \infty, X_\tau =i\}$发生的条件下，或者在$\{\tau =n, X_\tau =i\}$发生的条件下，我们都有：$\{Y_m\}$是一个从$i$出发的，以$P$为转移矩阵的马氏链，且它与$\vec{Z} = (X_0, \cdots, X_\tau)$相互独立。