文档详情

马尔可夫过程与泊松过程.ppt

发布:2016-04-01约5.34千字共47页下载文档
文本预览下载声明
* * * * * * * * * * * * * * * * * * * * * * * * 四、状态分类 3、常返态和滑过态(非常返态) 定理: 对任意的 及 给出了 和 的联系: ----自状态i出发,经n步首次到达状态j的概率。 ----自状态i出发,经n步到达状态j的概率。 定理: 的充要条件是 四、状态分类 3、常返态和滑过态(非常返态) 定理:状态i 是常返的充要条件是 ----自i出发首次返回状态i 所需要的时间。 ----自i出发经有限步迟早要返回状态i的概率。 根据 的取值不同,将状态i 分成如下两类: (1)如果 ,则称状态i 为常返态; (2)如果 ,则称状态i为非常返态,或滑过态; 四、状态分类 3、常返态和滑过态(非常返态) 定理:状态i 是常返的充要条件是 如果状态i 为非常返态,则 说明如下: 如果i状态为常返态,则从i状态出发,经过有限步的转移迟早要返回状态i,即 ,这样,过程自i状态出发,返回,再出发,再返回,周而复始,如果过程无限地进行下去,那么,访问i的次数也无限地增加。 四、状态分类 3、常返态和滑过态(非常返态) 如果i状态为非常返的,则自i状态出发,经过有限步转移返回状态i的概率fii1,而永不进入状态i的概率为1-fii,如果过程自i开始,全过程恰有m 次处于状态i的概率为 因此,如果i状态是常返的,当且仅当从i状态出发,该过程处于状态i的平均次数为无穷次。 故处于i状态的平均次数为 四、状态分类 3、常返态和滑过态(非常返态) 对于一个非常返态,在过程中访问它的次数是有限的,对于有限状态的马尔可夫链,不是所有状态都为非常返态。或者说至少有一个状态是常返态。 定理:如果i??j,若i是常返的,则j也是常返的。 由于同类中各态是相通的,所以有一个是常返的,其它也是常返的,有一个是非常返的,其它也是非常返的。 常返和非常返可以看成类的一种特性。 四、状态分类 3、常返态和滑过态(非常返态) 举例:设有五个状态{0,1,2,3,4}的马尔可夫链,其一步转移概率矩阵为 2,3不与其它状态相通,构成闭集,2,3是常返态。 0 1 4 1 4 3 3 1 4 3 1 3 1 3 1 2 3 4 1 4 3 3 1 3 2 闭集,常返的 非常返的 闭集,常返的 4-0,4-1但0-4,1-4,{0,1}组成一个闭集,也是常返态,而{4}为非常返的。 四、状态分类 4、周期状态和非周期状态 定义:如果有正数d,d1,只有当 n=d,2d,3d,…时, 无限制随机游动是周期的,周期为2。 则称i 是周期的。 四、状态分类 4、周期状态和非周期状态 例 设有四个状态(0,1,2,3)的马尔可夫链,其一步转移概率矩阵为 0 1 2 2 1 2 1 2 1 2 1 3 1 3 1 3 2 3 3 2 - 2 4个状态可以分成{0,1}和{2,3}两个类,该过程具有确定性周期转移。 {0,1}?{2,3}?{0,1}?{2,3} 周期为2 四、状态分类 5、遍历性 定义:对于齐次马尔可夫链,如果对一切i和j,存在不依赖i的极限, 则称该链具有遍历性。 含义:当转移步数足够长时,不论 n 步之前是处于哪种状态,n步后转移到状态j的概率接近 pj。 定理:对于有限状态的马尔可夫链,如存在正整数s,使 则该链具有遍历性。 四、状态分类 5、遍历性 例:下面的马尔可夫链是遍历的。 不遍历的例子 四、状态分类 5、遍历性 例3:设马尔可夫链的一步转移矩阵为,分析其遍历性。 一、定义 6.2 马尔可夫序列 一个随机序列X(n),若对任意的n,有 称此序列为马尔可夫序列。 显然,联合概率密度可表示为 二、性质 6.2 马尔可夫序列 由马尔可夫序列的定义可得: 马尔可夫序列转移概率密度满足下列方程: 其中nrs,即切普曼方程 三、齐次马尔可夫序列 6.2 马尔可夫序列 如果条件概率密度 ,与n无关,则称马尔可夫序列是齐次的。 如果一个马尔可夫序列是齐次的,并且所有的随机变量 具有相同的概率密度,则称马尔可夫序列是平稳的。 在一个齐次马尔可夫序列中,若最初两个随机变量 和 具有相同的概率密度,则此序列是平稳的。 一、独立增量过程 6.3 其他马尔可夫过程 特殊的马尔可夫过程 设随机过程X(t),t?0满足 对任意的时刻 ,过程的增量 、…、 是相互独立的随机变量,则称X(t)为独立增量过程,又称可加过程。 特点:在任一时间间隔上,过程状态的改变,并不影响将来任一时间间
显示全部
相似文档