自编随机过程课件2.pdf

马尔可夫链 马尔可夫过程是一类特殊的随机过程, 马尔可夫链是离散状态的马尔可夫过程, 最初是由俄国数学家马尔可夫1896年提出和研 究的，应用十分广泛,其应用领域涉及计算机,通信, 自动控制,随机服务,可靠性,生物学,经济,管理,教育, 气象,物理,化学等等. 《数理统计》授课教案——李正耀 马尔可夫过程: 对任意n 3,t t t , x ,..., x ，若满足： 1 2 n 1 n P {X (t ) x X (t ) x ,,X (t ) x } n n 1 1 n1 n1 P {X (tn ) xn X (tn1 ) xn1 } 马尔可夫性, 或无后效性 则称过程 X (t ),t T 为马尔可夫过程。   Markov性的记 A {X (t )x }将来状态 n n 直观含义 B {X (t )x ,...,X (t )x }过去 1 1 n2 n2 C {X (t )x }现在的状态 n1 n1 Markov性: P(A | BC) P(A | C) 已知到现在为止的所有信息来预测将来,则只与现在 状态有关,与过去状态无关. 链：状态空间为离散集的过程称为链. 参数集T 离散的马尔可夫链称为离散时间的马尔可夫 链，简称马尔可夫链(或马氏链). 参数集T 是连续区间的马尔可夫链称为连续时间的马 尔可夫链. 马尔可夫链的参数集一般取T 0,1,2,  习惯上记马尔可夫链为: X ,n 0  n  马尔可夫链的状态空间一般取整数，记为I , 设i I , Xn i表示在时刻n，马氏链处于状态i. 马尔可夫链此时的定义 定义：设有离散随机过程 X ,n 0 ,若对任意的整数n ,k  n  和i ,i ,...,i ,i, j I (状态空间),满足： 0 1 n1 P {X n+k j | X 0 i0 ,...,X n1 in1 ,X n i } P {X nk j |X n i } 则称 X , n 0 为马尔可夫链或马氏链.  n  第一节 转移概率 记为 定义：条件概率P {X nk j | X n i }＝＝pij (n ,k ) 称为马尔可夫链在n 时刻的k步转移概率.即为： “系统时刻n 从状态i 出发，于时刻n k到达状态j 的概率” 定义