时间连续状态离散的马尔科夫过程.ppt

科尔莫哥洛夫向前和向后方程 1、速率函数 2、速率函数的性质 定理 设随机连续状态有限马尔科夫过程的转移 概率函数为 ，速率函数为 ，则有 证明： 证明2 遍历性 定义 若马尔科夫过程转移概率的极限 遍历性 遍历性 绝对概率的极限 定理 对有限马尔科夫过程，如果存在正数 ， 则此链是遍历的， * 第2章 随机过程 随机信号分析 * 第2章 随机过程 随机信号分析 马尔科夫过程 1、马尔科夫过程的定义 其状态空间 任意m个时刻 及任意正数s， 满足 则称 为马尔科夫过程。 定义：设时间连续状态离散的随机过程 ，若对任意整数m 2、转移概率及性质 一般的，规定 性质 时齐马尔科夫过程的转移概率 3 切普曼-柯尔莫哥洛夫方程（C-K方程） 转移概率之间有如下关系: 对 ，有 4 初始分布与绝对分布 （1）初始分布 为一马尔科夫过程，其状态空间 或为有限子集。令 且对任意的 则称 为该马尔科夫过程的初始分布，也称初始概率。初始概率是在初始时间 时处于状态i的概率。 ，均有 当 时，取各状态的概率称为绝对概率或绝对分布。 设 为一马尔科夫过程，其状态空间 或为有限子集。令 且对任意的 则称 为绝对分布，也称绝对概率。 均有 （2）绝对分布 绝对概率由初始分布和相应的转移概率唯一确定。 若 是状态有限的马尔科夫过程， 设 称 为速率函数， 即 速率函数刻画了过程的转移概率函数在零时刻 对时间的变化率 注：无限马尔科夫过程也有类似结论 存在且与 无关，则称此马尔科夫链具有遍历性 此时，若满足 为转移概率函数的极限分布 则称 即 在此称为转移概率的极限分布 若马尔科夫过程为有限状态的，显然有， 满足 说明1： 构成一个概率分布 有限状态的遍历的马尔科夫过程必存在极限分布 即 若马尔科夫过程为无限状态的，则有， 又因为 说明2： 不一定构成一个概率分布 无限状态的遍历的马尔科夫过程不一定存在极限分布，只有其极限概率构成概率分布时才存在极限分布 即：绝对概率的极限与转移概率的极限相同 即 且极限分布 是方程组 满足条件 的唯一解 注：此定理给出了求极限分布(平稳分布)的方法 使得