六.马尔可夫链2.pdf

马尔可夫链的概率分布 本节主要内容 切谱曼—柯尔莫哥洛夫方程 马尔可夫链的概率分布 初始分布 绝对分布 有限维分布 随机过程—— 西安电子科技大学数学系冯海林 Chapman-kolmogorov方程(C-K方程) 定理6.2.1 设X {X n ,n ≥0}是状态空间S上的马氏链，则有 p (k +m ) (n ) ∑p (k ) (n)p (m) (n =+k ), n, m,k ≥0,i, j ∈S ij il lj l 或矩阵形式 P(k +m) (n) P(k ) (n)P(m) (n +k ) 证明 p (k +m ) (n ) P {X j X i) ij n+k +m n P {(UX n+k l) ,X n+k +m j X n i) l 随机过程—— 西安电子科技大学数学系冯海林 P { (X l, X j ) X i) U n+k n+k +m n l ∑P (X n+k l , X n+k +m j ) X n i) l ∑P (X n+k l X n i) ⋅P(X n+k +m j X n i,X n+k l) l ∑P (X n+k l X n i) ⋅P(X n+k +m j X n+k l) l ∑p (k ) (n) ⋅p(m) (n +k ) il lj l 随机过程—— 西安电子科技大学数学系冯海林 C-K方程的直观意义： 系统在n 时从状态i 的出发,经过k+m步转移,于n+k+m 时到达状态j, 可以先在n 时从状态i 出发，经过k步转移 于n+k 时到达某种中间状态l,再在n+k 时从中间状态l 出 发经过m步转移于n+k+m 时到达最终状态j, 而中间状态 l要取遍整个状态空间S. 随机过程—— 西安电子科技大学数学系冯海林 若取m=1,则由C-K方程的矩阵形式: P(k +m) (n) P(k ) (n)P(m) (n +k ) 得 P(k +1) (n) P(k ) (n)P(1) (n =+k ) P(k −1) (n) =⋅P(n +k −1) ⋅P(n +k ) L P(n) =⋅P(n +1) LP(n +k −1) ⋅P(n +k ) (n, k ≥0) 随机过程—— 西安电子科技大学数学系冯海林 分量形式 p (k +1) (n) L p (n) =⋅p (n +1) Lp (n +k ) ij ∑∑ ∑ ij j j j j 1 1 2 k j 1 j 2 j k