随机过程第四章.doc

定义： 设有随机过程若对任意的整数和任意的,条件概率满足则称其为马尔科夫链。 马尔科夫链的统计特性完全有条件概率决定。 一步转移概率 称条件概率为马尔科夫链在时刻n的一步转移概率。,若与n无关，则称马尔科夫链为齐次的。 n步转移概率 称为马尔科夫链的n步转移概率。 n步转移矩阵。 ； 6.具有如下性质： 设为马尔科夫链，则对任意整数n=0,1=ln； ； 7初始概率： 初始概率向量： 初始分布： 10绝对概率： 11绝对概率向量： 12绝对分布： 13性质如下： 14马氏链的有限维分布： 设为马氏链，则对任意的有 完全有初始概率和一步转移概率决定。 15状态i的周期d【决定状态是否为周期的】 ； 如果d1,则称状态为周期的； 如果d=1则其为非周期的。 16首达概率： 为质点有i出发，经过n步首次到达j的概率，称为首达概率。 记；规定为质点有i出发，经过有限步到达j的概率。【决定是否为常返的】 若=1，则称状态i为常反的；常返的充要条件；当i为常反时，返回i的次数是无限多次。 若1,则称状态i为非常反的（瞬时状态）。；当i为非常反时，返回i的次数只能是有限多次。若状态i为非常反的，则以概率不再返回到i.; 17平均首次返回时间：【决定是为正还是零】 对于常返态i,构成一概率分布，此分布的期望值表示为由i出发再返回到i的平均返回时间。 若,则称常返态i为正常返的。若=则称常返态i为零常返的。非周期的正常返态称为遍历状态。 18关系 对于任意状态i,j及有； ； 19平均次数： 表示有j出发再返回j的平均次数。 当j是常返态时，返回的次数是无限多次。 当j为非常反时，返回j的次数只能是有限多次。 20超限概率 对任意状态i有 状态i常返当且仅当状态i非常返当且仅当 21. 设i常返且有周期d,则，其中为i的平均返回时间。当=时， 设i常返则若i零常返；若i遍历 22状态的可达与互通： 状态i可达状态j,：存在使； 状态i与状态j互通，： 可达与互通都具有传递性：即： 如果则：ij同为常返或非常返，如为常返，则同时为正常返或零常返；两者具有相同的周期。互通关系的状态为同一类型。 23状态空间的分解： 状态空间I的子集C称为闭集{闭集是不可约的【不可约的充要条件对都有，n0】，闭集的充要条件：都有，n0。} 如果：则称状态i为吸收的，等价于单点集为闭集。一个吸收状态构成的闭集是最小的；整个状态空间构成的闭集是最大的闭集；状态空间I中所有常返态组成一闭集C. 不可约的马尔科夫链中无零元任何两个状态都互通没有常返状态或没有非常返状态 任一马尔科夫链的状态空间I，可唯一的分解成有限个或可列个互不相交的子集之和，使得：每一个是常返态组成的不可约闭集；中的状态同类型，或全是正常返或全是零常返，它们有相同的周期，，；D是全体非常返态组成，自中的状态不能达到D中的状态。 24分解定理说明： 状态分为非常返态D与常返态C，C又可按互通关系分为有限个互不相交的基本常返闭集 从D出发，或一直停留在D中，或在某一时刻进入，一旦进入。永不离开。 从某一出发：停留在这一常返闭集中。 25不可约马尔科夫链的分解： 周期为d的不可约马尔科夫链，其状态空间C可唯一的分解为d个互不相交的子集之和即且使得从中任意状态出发经一步转移必进入中，，任意取定一状态i，对每一，定义集 。马氏链如果其状态空间不可约，则称其不可约的。 如果只在0，d,2d...上考虑，记得一新马氏链，其转移矩阵。对于新链，每一是不可约闭集且中的状态是非周期的。 如果原链常返，则新链宜常返； 26有限马氏链的性质 不可能全是非常返态 没有零常返态 必有正常返态 不可约的有限马氏链只有正常返态 27渐进性质 如j非常返或零常返则 有限状态的马氏链不可能全是非常返状态，也不可能含有零常返状态，从而不可约的有限状态的马氏链必是正常返。 如果马氏链有一个零常返态，则必有无限多个零常返态。 如果j正常返，周期为d对任意的i及有 设不可约、正常返、周期d的马氏链，其状态空间为C，则对一切 i, 如果j为遍历的，d=1: ; 对任意状态i,j 如不可约、常返，则对任意状态i,j 28平稳分布 设为齐次马尔科夫链，状态空间为I，转移概率为。 概率分布为马尔科夫链平稳分布,他满足： 注：若初始概率分布为平稳分布，则；平稳分布的矩阵形式 不可约非周期马氏链是正常返的充要条件是存在平稳分布，且此平稳分布就是极限分布 有限状态的不可约非周期马氏链必存在平稳分布； 不可约马氏链的所有