北大随机过程课件：第_2_章_第_3_讲_马尔可夫状态分析.pdf

马尔可夫链 状态分类 1 马尔可夫链中状态的分类： 1.1 到达和相通： 定义1：状态i 可到达状态j ， 如果对状态i 和j 存在某个n(n ≥1) 使得p n 0 ，即由状态i 出发，经过 n 步状 i j 态转移，以正的概率到达状态j ，则称自状态i 可到达状态j ，并记为i →j 。反之， 如状态i 不能到达状态j ，记为i+→ j ，此时对于一切n, p n 0 。 i j 定义2 ：状态i 和状态j 互通， 有两个状态i 和j ，如果由状态i 可以到达状态j ，且由状态j 可以到达状态i，则称 状态i 状态j 相通，记作i ←→j 定理1：到达的传递性， 如果由状态i 可以到达状态k ，由状态k 可以到达状态j ，则由状态i 可以到达状态 j ，即到达具有传递性。 定理2 ：相通具有传递性。 如果由状态i 和状态k 相通，状态k 和状态j 相通，则由状态i 和状态j 相通，即 相通具有传递性。 1.2 状态空间的分解： 定义1，状态空间的类， 如果两个状态相通，则称两个状态处于同一类中。可以按照相通的概念把状态空间 分成一些隔离的类。 状态空间分解成隔离的类，对于每个类都有相应的状态转移矩阵。 定义2 ，状态空间的闭集， 设C 为状态空间的一个子集，如果从C 中的任何一个状态i 不能到达C 以外的任 何状态，则称C 是闭集。 如果单个状态构成一个闭集，则称这个状态为吸收态。 整个状态空间必定构成一个闭集。 闭集的充分必要条件是，p i j 0, i ∈C j ∉C 。 定义3，不可约的马尔可夫链 如果除了整个状态空间以外，没有别的闭集的马尔可夫链称为不可约的，这时所有 的状态是相通的。 定理1， 在 m 步转移概率矩阵中，如果只保留闭集中各状态间的转移概率，而把其他所有 行和列的元素删去，则留下的概率矩阵满足∑p i k 1, i ∈C 。 k ∈C 1.3 状态的常返态和滑过态 定义1， 对于任意两个状态 i，j ，设 代表从状态 i 出发首次进入状态j 的最早时刻,即 T i j { }。 T (ω) min n :ξ(0) i,ξ(n) j , n ≥1 i j 定义2 ，从状态i 经过n 步第一次到达状态j 的概率， (n) { }。 f P T n /ξ(0) i i j r i j 定义3，从状态i 迟早到达状态j 的概率， (n) { } f ∑f ∑P T n /ξ