1.5 常返性 这一节我们研究马氏链是否一定会返回状态iii，每一次返回的时间有什么性质。 回访时间 定义1. 令Ti,1T_{i, 1}Ti,1​是第iii次返回状态iii的时间。具体地，Ti,1:=σiT_{i, 1}:=\sigma_iTi,1​:=σi​， Ti,r:={inf⁡{n≥Ti,r−1+1:Xn=i},若 Ti,r−1<∞;∞,若 Ti,r−1=∞,∀ r≥...

1.3 状态的分类 定义1. 若Pi(∃ n≥0,Xn=j)>0P_i(\exists\ n \geq 0, X_n=j) >0Pi​(∃ n≥0,Xn​=j)>0，则称 iii 可达 jjj，记作i→ji \rightarrow ji→j。 在概率转移简图中，iii可达jjj可直接解读为：从iii出发，可以顺着箭头方向到达jjj。 命题1. 假设i≠ji \ne...

第一章 马氏链 1.1 定义与例子 定义1. pij≥0p_{ij} \geq 0pij​≥0，∑j∈Spij=1\sum_{j \in S} p_{ij} = 1∑j∈S​pij​=1. 得到矩阵PPP。称之为SSS上的一个转移概率矩阵，或转移矩阵。称pijp_{ij}pij​为从iii到jjj的转移概率。 定义2. 若转移矩阵PPP使得 P(Xn+1=j∣Xn=i,X0=i0...