随机过程第5讲(马尔科夫链定义和性质).pptx

《随机过程及其应用》离散时间;内容提要离散时间Markov链;安德雷.安德耶维奇.马尔可夫);1、马尔可夫过程定义*郑州大学;Markov过程也可表示为如下;该式表明?(t)的n维概率密度;马尔可夫过程{?(t),t?T;马尔可夫链的定义*郑州大学信息;由定义可知：*郑州大学信息工程;一步转移概率的两个性质：*郑州;齐次马尔可夫链*郑州大学信息工;2、切普曼-柯尔莫哥洛夫方程式;对于m步转移概率矩阵有C-K方;这一事件可分解成:*郑州大学信;C-K方程是指?(n)在n时处;马尔可夫链的分布：*郑州大学信;证明：;例：天气预报问题马尔可夫链的例;四步转移概率矩阵：由此可知，今;01例03先求出2步转移概率矩;例一维随机游动*郑州大学信;如果Q现在位于1(或5)这点上;1理论分析:3而与时刻n以;一步转移概率*郑州大学信息工程;01一步转移概率矩阵02说明:;例：无限制随机游动问题;下面求它的ｎ步转移概率pij(;例：有限制的随机游动问题（带有;例：赌徒输光问题*郑州大学信息;考虑质点从j出发移动一步后的情;无标题;因此：故当r=1时u0;由以上计算结果可知，当r?1即;例;解;*郑州大学信息工程学院*概率为;某计算机房的一台计算机经常出故;96次状态转移的情况:*郑州;有些问题虽然不是马尔可夫链，但;设昨日、今日连续两天有雨称为状;有了一步转移概率矩阵就可以对今;例如，若星期一、星期二均下雨，