随机信号分析第6章-马尔可夫过程和泊松过程V2.ppt

* 主要内容 马尔可夫链 隐马尔可夫模型 马尔可夫过程 独立增量过程 独立增量过程的定义 定义：设{X(t),t?0}为一随机过程,对于0?st,称随机变量X(t)-X(s)为随机过程在区间[s,t]上的增量。若对于任意的正整数n及任意的0?t0t1t2…tn,n个增量X(t1)-X(t0)，X(t2)-X(t1)，…，X(tn)-X(tn-1) 相互独立，称{X(t),t?0}为独立增量过程。 独立增量过程是一种重要的马尔可夫过程，其参数和状态可以是连续的，也可以是离散的。 泊松过程 定义: 称计数过程{N(t),t≧0}为具有参数?0的泊松过程，若它满足下列条件 (1) N(0)=0； (2) N(t)是独立增量过程； (3) 对于任意的s，t≥0，N(t+s)-N(s)服从参数为?t的泊松分布 从条件(3)：泊松过程的均值函数为 ，表示单位时间内质点出现的平均个数,故称?为此过程的强度。 泊松过程的性质 * 若泊松过程X(t)满足下列条件： （1）X(t)是独立、平稳增量过程； （2）X(t)满足下列两式： 在t到t+h内出现2个及以上事件的概率与出现一个事件的概率相比可以忽略不计。 泊松过程举例 考虑某一电话交换台在某段时间接到的呼叫。令X(t)表示电话交换台在 [0, t] 时间内收到的呼叫次数，则{ X(t), t ?0 } 是一个泊松过程。 考虑来到某火车站售票窗口购买车票的旅客。若记X(t) 为时间 [0, t] 内到达售票窗口的旅客数，则{ X(t), t ?0 } 是一个泊松过程。 考虑机器在 (t, t+h] 内发生故障这一事件。若机器发生故障，立即修理后继续工作，则在 (t, t+h] 内机器发生故障而停止工作的事件数构成一个随机点过程，它可以用泊松过程来描述。 泊松过程的统计特性 * 设{X(t)，t≥0}是泊松过程，对任意的t，s∈[0, ∞)，且st，有 由于X(0)=0，所以 一般情况下，泊松过程的协方差函数可表示为 数字通信与信息网络实验室 数字通信与信息网络实验室 第六章 马尔可夫过程与泊松过程 * 主要内容 马尔可夫链 马尔可夫过程 独立增量过程 马尔可夫过程的分类 按马尔可夫过程参数空间和状态空间的不同可分为 离散 连续 离散 连续 马尔可夫链 马尔可夫序列 可数状态马尔可夫过程 连续状态马尔可夫过程 马尔可夫链的定义 随机过程 称为马尔可夫链，若它只取有限或可列个值（称为过程的状态，记为0，1，2，…），并且，对任意 及状态 ，有 转移概率矩阵 定义： 称 为n时刻的一步转移概率。 若 ，即pij与n无关，称转移概率具有平稳性.此时称{Xn,n≥0}为齐次（或时齐的）马尔可夫链。记P=(pij)，称P为{Xn,n≥0}的一步转移概率矩阵。 切普曼-柯尔莫哥洛夫方程 随机矩阵：称矩阵A=(aij)S×S为随机矩阵，若aij ≥0，且 n步转移概率：设{Xn,n≥0}是一马尔可夫链，称 为马尔可夫链{Xn,n≥0}的n步转移概率。 切普曼-柯尔莫哥洛夫方程 定理：切普曼-柯尔莫哥洛夫方程（C-K方程） 或 其中 为马尔可夫链{Xn,n≥0}的n步转移概率矩阵。 切普曼-柯尔莫哥洛夫方程 证明： 切普曼-柯尔莫哥洛夫方程 平稳链 定义：设pij是马尔可夫链{Xn, n≥1}的转移概率。若概率分布{pj, j ≥0}满足 则称{pj, j ≥0}为{Xn, n≥1}的平稳分布。记 显然，一旦X(n)进入某个平稳分布后，就一直处于该分布上，不再改变。 平稳链 则平稳分布可表示为如下矩阵形式 显然有 即 若马尔可夫链{Xn, n≥0}的初始分布pj=P{X0=j}是平稳分布，则对任意的n，有 即Xn与X0有相同的分布，这说明过程{Xn, n≥0}是平稳过程。这也是称分布pj=P{X0=j} 为平稳分布的原因。 马尔可夫链中的状态分类 定义 : 若存在某个n使得 ，则称从状态i可达状态j，记为i→j，如果i→j且j→i ，则称i与j相通，记为 。若一马尔可夫链的任意两个状态都是相通的，则称该马尔可夫链是不可约的。若pii=1。则称状态i为吸收态。 定理：相通是一种等价关系。即 马尔可夫链中的状态分类 按相通关系是等价关系，可以把状态空间 I 划分为若干个不相交的集合（或者说等价