应用随机过程第五章.ppt

*例1设马尔可夫链的转移概率矩阵为求马尔可夫链的平稳分布及各状态的平均返回时间。即，经过无穷次转移后处于状态的概率与初始状态无关，与初始状态的分布也无关。第62页，课件共124页，创作于2023年2月*解因为马尔可夫链是不可约非周期有限状态的，所以平稳分布存在，设则?=?P，?1+?2+?3=1.即各状态的平均返回时间为?=(?1,?2,?3)第63页，课件共124页，创作于2023年2月*例2设马尔可夫链转移概率矩阵为求每一个不可约闭集的平稳分布。第64页，课件共124页，创作于2023年2月*解从状态转移图看出，状态空间可分解为两个不可约常返闭集C1={2,3,4}和C2={5,6,7}，一个非常返集N={1}。在常返集上求平稳分布：第65页，课件共124页，创作于2023年2月*在C1上，对应的转移概率矩阵为C1上的平稳分布为：{0,0.4,0.2,0.4,0,0,0}同理可求得C2上的平稳分布为{0,0,0,0,1/3,1/3,1/3}第66页，课件共124页，创作于2023年2月*三、(有限链)遍历性的充分条件第67页，课件共124页，创作于2023年2月*说明2.极限分布转化为了求解方程组.3.在定理的条件下马氏链的极限分布是平稳分布.第68页，课件共124页，创作于2023年2月*试说明带有两个反射壁的随机游动是遍历的,并求其极限分布(平稳分布).解例3四、应用举例第69页，课件共124页，创作于2023年2月*无零元,链是遍历的第70页，课件共124页，创作于2023年2月*代入最后一个方程(归一条件),得唯一解第71页，课件共124页，创作于2023年2月*所以极限分布为这个分布表明经过长时间游动之后,醉汉Q位于点2(或3或4)的概率约为3/11,位于点1(或5)的概率约为1/11.第72页，课件共124页，创作于2023年2月*设一马氏链的一步转移概率阵为试讨论它的遍历性.解例4第73页，课件共124页，创作于2023年2月*表明此链不具遍历性.第74页，课件共124页，创作于2023年2月*五、小结遍历性的概念则称此链具有遍历性.第75页，课件共124页，创作于2023年2月*(有限链)遍历性的充分条件第76页，课件共124页，创作于2023年2月作业1：作业2：书习题5.7第77页，课件共124页，创作于2023年2月*第七节连续时间马尔可夫链定义7.1设随机过程{X(t)，t?0}，状态空间及非负整数i1,i2,?,in+1，有P{X(tn+1)=in+1|X(t1)=i1,X(t2)=i2,?,X(tn)=in}则称{X(t)，t?0}为连续时间马尔可夫链。I={0,1,2,?}，若对任意0?t1t2?tn+1=P{X(tn+1)=in+1|X(tn)=in}，第78页，课件共124页，创作于2023年2月*转移概率：在s时刻处于状态i，经过时间t后转移到状态j的概率pij(s,t)=P{X(s+t)=j|X(s)=i}定义7.2齐次转移概率(与起始时刻s无关，只与时间间隔t有关)pij(s,t)=pij(t)此时有转移概率矩阵P(t)=(pij(t))，i,j?I，t?0.第79页，课件共124页，创作于2023年2月*记?i为过程在状态转移之前停留在状态i的时间，则对s,t?0有(1)(2)?i服从指数分布证：(1)事实上ss+t0?iiiiti第80页，课件共124页，创作于2023年2月*第81页，课件共124页，创作于2023年2月*(2)设?i的分布函数为F(x),(x?0),则生存函数由此可推出G(x)为指数函数，G(x)=e-?x,则F(x)=1-G(x)=1-e-?x为指数分布函数。G(x)=1-F(x)第82页，课件共124页，创作于2023年2月*过程在状态转移之前处于状态i的时间?i服从指数分布(1)当?i=?时，状态i的停留时间?i超过x的概率为0，则称状态i为瞬时状态；(2)当?i=0时，状态i的停留时间?i超过x的概率为1，则称状态i为吸收状态。第83页，课件共124页，创作于2023年2月*定理7.1齐次马尔可夫过程的转移概率具有下列性质：(1)pij(t)?0;(