中科院随机过程最新课件第3-4讲.pdf

中国科学院大学2013～2014 第一学期 随机过程讲稿 孙应飞 第二章 Markov 过程 本章我们先讨论一类参数离散、状态空间离散的特殊随机过程，即参数为 T {0,1,2,L} N 0 ，状态空间为可列S {1,2,L} 或有限S {1,2,L,n} 的 Markov 链。Markov 链最初由Markov 于1906 年引入，至今它在自然科学、工 程技术、生命科学及管理科学等诸多领域中都有广泛的应用。之后我们将讨论 另一类参数连续状态空间离散的随机过程，即研究纯不连续Markov 过程。 1． Markov 链的定义 定义：设随机序列{X (n); n ≥0} 的状态空间为S （离散），如果对∀n ∈N 0 ， 及i ,i ,L,i ,i ∈S , P {X (0) i ,X (1) i ,L,X (n) i } 0 ，有： 0 1 n n+1 0 1 n P {X (n +1) i X (0) i ,X (1) i ,L,X (n) i } n+1 0 1 n (A) P {X (n +1) i X (n) i } n+1 n 则称{X (n); n ≥0}为Markov 链。 注1：随机序列{X (n); n ≥0}也可记为{X n ; n ≥0}。 注2 ：等式（A ）刻画了Markov 链的特性，称此特性为Markov 性或无后 效性 （即随机过程将来的状态只与现在的状态有关，而与过去无关），简称为马 氏性。Markov 链也称为马氏链。 定义：设{X (n); n ≥0}为马氏链，状态空间为S ，对于∀i,j ∈S ，称 P {X (n +1) j X (n) i} ˆ p i j (n) 为马氏链{X (n); n ≥0}在n 时刻的一步转移概率。若对于∀i,j ∈S ，有 P {X (n +1) j X (n) i} ˆ p i j (n) ≡p i j 即上面式子的右边与时刻n 无关，则称此马氏链为齐次（或时齐的）马氏链。 对于齐次马氏链，我们记P (p i j ) ，称矩阵P 为齐次马氏链的一步转移概 中国科学院大学2013～2014 第一学期 随机过程讲稿 孙应飞 率矩阵，简称为转移矩阵。 注3 ：对于马氏链{X (n); n ≥0} ，我们有： P {X (0) i ,X (1) i ,L,X (n) i } 0 1 n P {X (n) i X (0) i ,X (1) i ,L,X (n −1) i } ⋅ n 0 1 n−1 ⋅P {X (0) i ,X (1) i ,L,X (n −1) i } 0 1 n−1 − ⋅ L − P {X (n) i X (n 1) i } P {X (0) i ,X (1) i , ,X (n