（精）Markov过程.ppt

（3） 从而结束比赛的概率； 从而结束比赛的概率。 所以题中所求概率为 End * 第五章 Markov过程 第一节 基本概念 第二节 Markov链的状态分类及性质 第三节 极限定理及平稳分布 第四节 Markov链的应用 第五节 连续时间Markov链 第六节 转移概率和柯尔莫哥洛夫微分方程 简称马氏过程。 已知“现在”的条件下，“过去”与“将来”是独立的。 马氏性 （无后效性） 第一节 基本概念 一、Markov链的定义 1．Markov链 有限马氏链 状态空间是有限集I={0,1,2,…，k} 2．一步转移概率 马氏链在时刻n处于状态 i 的条件下，到时刻n+1转移到状态 j 的条件概率， 即 称为在时刻n的一步转移概率， 注: 马氏链由 和条件概率 决定 注: 由于概率是非负的，且过程从一状态出发，经过一步转移后，必到达状态空间中的某个状态 一步转移概率满足 3．一步转移矩阵 称为在时刻n的一步转移矩阵 随机 矩阵 即有 有限马氏链 状态空间I={0，1，2，…，k} 4．齐次马氏链 即 则称此马氏链为齐次马氏链（即关于时间为齐次） 5．初始分布 注 马氏链在初始时刻有可能处于I中任意状态，初始分布就是马氏链在初始时刻的概率分布。 6．绝对分布 概率分布 称为马氏链的绝对分布或称绝对概率 例1 天气预报问题 例2 不可越壁的随机游动 设一质点在线段[1，5 ]上随机游动，状态空间I={1，2，3，4，5}，每秒钟发生一次随机游动，移动的规则是： （1）若移动前在2，3，4处，则均以概率1/3向左 或向右移动一单位，或停留在原处； （2）若移动前在1处，则以概率1移到2处； （3）若移动前在5处，则以概率1移到4处。 试写出一步转移矩阵. 分析 故 1 2 3 4 5 其一步转移矩阵为 若将移动规则改为 （1）若移动前在2，3，4处，则均以概率1/2向左或向右 移动一单位； （2）若移动前在1，5处，则以概率1停留在原处。 因为质点在1，5两点被“吸收”， 故称 有两个吸收壁的随机游动 分析 例3 赌徒输光问题 赌徒甲有资本a元，赌徒乙有资本b元，两人进行赌博，每赌一局输者给赢者1元，没有和局，直赌至两人中有一人输光为止。设在每一局中，甲获胜的概率为p，乙获胜的概率为 q=1-p，求甲先输光的概率。 这个问题实质上是带有两个吸收壁的随机游动。从甲的角度看，他初始时刻处于a，每次移动一格，向右移（即赢1元）的概率为p，向左移（即输1元）的概率为q。如果一旦到达0（即甲输光）或a + b（即乙输光）这个游动就停止。这时的状态空间为{0，1，2，…，c}，c = a + b，。现在的问题是求质点从a出发到达0状态先于到达c状态的概率 。 考虑质点从j出发移动一步后的情况 解 同理 根据全概率公式有 这一方程实质上是一差分方程，它的边界条件是 于是 设 则可得到两个相邻差分间的递推关系 于是 欲求 先求 需讨论 r 当 而 两式相比 故 当 而 因此 故 用同样的方法可以求得乙先输光的概率 由以上计算结果可知 | | 说明： 二、基本性质 性质1 的联合分布可由初始分布及转移概率所决定，即有 则 性质2 表明 一个马氏链，如果按相反方向的时间排列，所成的序列也是一个马氏链。 性质3 表明 若已知现在，则过去与未来是独立的。 则 性质4 表明 若已知现在，则过去同时对将来各时刻的状态都不产生影响。 特别 则 性质5 表明 马氏链的子链也是马氏链 在马氏链的研究中，须研究“从已知状态i出发，经过n次转移后，系统将处于状态j”的概率. 三、n步转移矩阵 1．n步转移概率 系统在时刻m从状态i经过n步转移后处于状态j的概率 称为n步转移概率 由于马氏链是齐次的，这个概率与m无关 显然有 2．n步转移矩阵 称为n步转移矩阵 规定 3．绝对概率公式 定理1 绝对概率由初始分布和n维转移概率完全确定 即有 证 4．切普曼—柯尔莫哥洛夫方程（C－K方程） 定理2 则 证 注 （1）用一步转移概率表示多步转移概率 注 I={1，2，…，N} 由矩阵的乘法规则，得 表示：在时刻n，各状态的概率等于其初始状态的概率与n步转移概率矩阵之积。 若链是齐次的，则有 Eg. 例4 甲、乙两人进行比赛，设每局比赛中甲胜的概率是p，乙胜的概率是q，和局的概率是r ,（ p+q+r=1）。设每局比赛后，胜者记“+1”分，负者记“-1”分，和局不记分。当两人中有一人获得2分结束比赛。以 表示比赛至第n局时甲获得的分数。 （1）写出状态空间； （3）问在