随机信号随机过程分析.ppt

马氏链中的状态分类 * 相通 若状态i可到达状态j，且状态j也可到达状态i，则称状态i和状态j相通，记作i?j 相通具有如下等价关系： ① 若i?j，则i?i，自返性； ② 若i?j，则j?i，对称性； ③ 若i?r， r?j ，则i?j，传递性； 马氏链中的状态分类 * 首达时 设{Xn, n=0,1,2,…}是马氏链，对任意状态i和j，称 为该马氏链自状态i出发首次进入状态j的时刻，或称为自i到j的首达时。 对于一个样本ξ0，上述Tij表示同时满足X(ξ0,n)=j且X(ξ0,n )=i 的最小的n，而对不同样本，该最小非负值可能不相同，因此Tij 是一随机变量。另，若对某一ξ0 ， Xn可能永不取值j，此时规定Tij =∞，于是， Tij的取值范围为{1,2,…,∞} 马氏链中的状态分类 * 首达概率 设{Xn, n=0,1,2,…}是马氏链，对任意状态i和j，称 为该马氏链自状态i出发经过n步首次进入状态j的概率。 显然有 从而 马氏链中的状态分类 * 例：设有三个状态{1,2,3}的马氏链,它的一步转移概率矩阵为 解： 求 1→1→1→3 1→1→2→3 1→2→1→3 1→2→2→3 马氏链中的状态分类 * 迟早要到达的概率 设{Xn, n=0,1,2,…}是马氏链，对任意状态i和j，称 为该链自状态i出发迟早要进入状态j的概率。(首达概率之和) 显然有 定理4 对任何i,j∈G, n ≧1有 马氏链中的状态分类 * 证： 证毕 马氏链中的状态分类 * 常返状态和常返马氏链 若fjj=1，则称状态j是常返的。若fjj1，则称状态j是非常返的。若马氏链的每个状态都是常返的，则称其为常返马氏链。 定理5 状态j常返( fjj=1)的充要条件是 证明略。 马氏链中的状态分类 * 推论：若状态j非常返，则必有 在有限状态马氏链中，至少有一个状态是常返态，否则经过有限时间T0后过程不再访问0状态，经过有限时间T1后过程不再访问1状态，依此类推，经过有限时间T=max{T0,T1,…,TN}后，过程不再访问{0,1,2,…,N}诸状态，这显然不合理，因此至少有一个状态是常返态。 马氏链中的状态分类 * 平均返回时间 设i是一常返态，则从i出发可经过n 步(n=1,2,…)首次返回i的时刻Tii 的分布列如下所示： Tii 1 2 … n P fii(1) fii(2) … fii(n) 由数学期望的定义，可得 称ui 为状态i的平均返回时间。 马氏链中的状态分类 * 正常返态和零常返态 设i是常返态，若ui∞，则称i是正常返态；若ui=∞，则称i是零常返态。 遍历状态 对于状态i，若正整数集合 非空，则称该集合的最大公约数L为状态i的周期。若L1，则称状态i是周期L的，若L=1，则称状态i是非周期的。如果状态i是非周期且正常返的，则称状态i是遍历的。 马氏链中的状态分类 * 马氏状态分类图 马氏链中的状态分类 * 定理8 若 ，则 （1）i与j同为常返或同为非常返； （2）若i与j常返，则i与j同为正常返或同为零常返； （3）i与j或同为非周期的，或同为周期的且有相同的周期。 例1.26 已知齐次马氏链的状态空间G={1,2,3,4}，其转移概率矩阵如下，确定其是否周期，是否常返，是否遍历？ 马氏链中的状态分类 * 解： 该马氏链状态转移图如右。 对状态1，有p11=0.250, 故{n, p11(n)0}非空，其最大公约数 故 各状态相通，则通过对其中任一状态的分析，可知整个链的特性。 L=1，于是状态1非周期，故该马氏链非周期。由于 ，则状态1常返，故该链常返 由于 ，则状态1正常返，该链正常返 该马氏链正常返且非周期，于是该链是遍历的 马氏链中的状态分类 * 例1.27 已知齐次马氏链的状态空间G={1,2,3,4,5,6,7,8,9}，其状态转移图如下，确定状态1的周期 解： 由状态1出发再回到状态1的可能步长为L={4,6,8,10,12,…},其最大公约数为2。虽然从1出发经过2步不可能回到状态1，仍称2是状态1的周期。 马氏链中的状态分类 * 闭集 设 ，若从V中任一状态出发不能到达V外的任一状态，则称V为闭集。 显然，对一切 和 有 最小闭集：若V中仅含有单个状态，则此闭集称为吸收态。它构成了一个最小的闭集。 最大闭集：整个空间构成一个最大的闭集。 不可约：除整个状态空间外，没有别的闭集的马氏链称为不可约马尔可夫链。此时整个空间的所有状态皆是相通的。 马氏链中的状态分类 * 定理