马尔可夫过程与泊松过程.ppt

* * * * * * * * * * * * * * * * * * * * * * * * 四、状态分类 3、常返态和滑过态（非常返态） 定理: 对任意的 及 给出了 和 的联系： ----自状态i出发,经n步首次到达状态j的概率。 ----自状态i出发,经n步到达状态j的概率。 定理： 的充要条件是 四、状态分类 3、常返态和滑过态（非常返态） 定理：状态i 是常返的充要条件是 ----自i出发首次返回状态i 所需要的时间。 ----自i出发经有限步迟早要返回状态i的概率。 根据 的取值不同，将状态i 分成如下两类： （1）如果 ,则称状态i 为常返态； （2）如果 ,则称状态i为非常返态，或滑过态； 四、状态分类 3、常返态和滑过态（非常返态） 定理：状态i 是常返的充要条件是 如果状态i 为非常返态，则 说明如下： 如果i状态为常返态，则从i状态出发，经过有限步的转移迟早要返回状态i，即 ,这样，过程自i状态出发，返回，再出发，再返回，周而复始，如果过程无限地进行下去，那么，访问i的次数也无限地增加。 四、状态分类 3、常返态和滑过态（非常返态） 如果i状态为非常返的，则自i状态出发，经过有限步转移返回状态i的概率fii1，而永不进入状态i的概率为1-fii，如果过程自i开始，全过程恰有m 次处于状态i的概率为 因此，如果i状态是常返的，当且仅当从i状态出发，该过程处于状态i的平均次数为无穷次。 故处于i状态的平均次数为 四、状态分类 3、常返态和滑过态（非常返态） 对于一个非常返态，在过程中访问它的次数是有限的，对于有限状态的马尔可夫链，不是所有状态都为非常返态。或者说至少有一个状态是常返态。 定理：如果i??j，若i是常返的，则j也是常返的。 由于同类中各态是相通的，所以有一个是常返的，其它也是常返的，有一个是非常返的，其它也是非常返的。 常返和非常返可以看成类的一种特性。 四、状态分类 3、常返态和滑过态（非常返态） 举例：设有五个状态{0，1，2，3，4}的马尔可夫链，其一步转移概率矩阵为 2,3不与其它状态相通，构成闭集，2，3是常返态。 0 1 4 1 4 3 3 1 4 3 1 3 1 3 1 2 3 4 1 4 3 3 1 3 2 闭集，常返的 非常返的 闭集，常返的 4-0,4-1但0-4,1-4，{0，1}组成一个闭集，也是常返态，而{4}为非常返的。 四、状态分类 4、周期状态和非周期状态 定义：如果有正数d,d1，只有当 n=d,2d,3d,…时， 无限制随机游动是周期的，周期为2。 则称i 是周期的。 四、状态分类 4、周期状态和非周期状态 例 设有四个状态（0，1，2，3）的马尔可夫链，其一步转移概率矩阵为 0 1 2 2 1 2 1 2 1 2 1 3 1 3 1 3 2 3 3 2 - 2 4个状态可以分成{0,1}和{2,3}两个类，该过程具有确定性周期转移。 {0,1}?{2,3}?{0,1}?{2,3} 周期为2 四、状态分类 5、遍历性 定义：对于齐次马尔可夫链，如果对一切i和j，存在不依赖i的极限， 则称该链具有遍历性。 含义：当转移步数足够长时，不论 n 步之前是处于哪种状态，n步后转移到状态j的概率接近 pj。 定理：对于有限状态的马尔可夫链，如存在正整数s，使 则该链具有遍历性。 四、状态分类 5、遍历性 例：下面的马尔可夫链是遍历的。 不遍历的例子 四、状态分类 5、遍历性 例3：设马尔可夫链的一步转移矩阵为，分析其遍历性。 一、定义 6.2 马尔可夫序列 一个随机序列X(n)，若对任意的n，有 称此序列为马尔可夫序列。 显然，联合概率密度可表示为 二、性质 6.2 马尔可夫序列 由马尔可夫序列的定义可得： 马尔可夫序列转移概率密度满足下列方程： 其中nrs，即切普曼方程 三、齐次马尔可夫序列 6.2 马尔可夫序列 如果条件概率密度 ，与n无关，则称马尔可夫序列是齐次的。 如果一个马尔可夫序列是齐次的，并且所有的随机变量 具有相同的概率密度，则称马尔可夫序列是平稳的。 在一个齐次马尔可夫序列中，若最初两个随机变量 和 具有相同的概率密度，则此序列是平稳的。 一、独立增量过程 6.3 其他马尔可夫过程 特殊的马尔可夫过程 设随机过程X(t)，t?0满足 对任意的时刻 ，过程的增量 、…、 是相互独立的随机变量，则称X(t)为独立增量过程，又称可加过程。 特点：在任一时间间隔上，过程状态的改变，并不影响将来任一时间间