第3章 参数估计问题.pdf

回顾 • 参数估计 • 将类条件概率密度未知转化为较简单的参数未知 • 参数估计方法 • 最大似然估计 • 贝叶斯估计 • 最大似然估计 • 似然函数 • 对数似然函数 • 似然方程 • 对数似然方程 回顾 • 高斯情况 回顾 • 贝叶斯估计的基本思路 n p (D | θ) p (x k | θ) k 1 p (D | θ)p (θ) p (θ|D ) p (D | θ)p (θ)d θ p (x | D) p (x | θ) p(θ| D)dθ • 高斯情况 • 递归的贝叶斯学习 Ch 04. 参数模型 Part 1 隐马尔可夫模型 马尔可夫链 • 状态,i 1,2, i • t时刻的状态 • 长度为T 的离散时间上的状态序列 例如： • 转移概率 （矩阵）   为从状态 到 的转移概率 i j 马尔可夫链 • 状态转移图 马尔可夫链 • j- 阶马尔可夫过程 • 下一时刻为某个状态的概率仅与最近的j个状态有关 仅与最近的j个状态有关 • 一阶马尔可夫过程 • 任一时刻为某状态的概率仅与上一时刻的状态相关 仅与上一个状态有关 隐马尔可夫模型 • 隐马尔可夫模型 （Hidden Markov Model，缩写 为HMM） • 状态不可见 • 在t时刻，隐藏的状态以一定的概率激发出可见的 x (t) v ,v ,v , 符号 ，其取值表示为 1 2 3 • 长度为T 的离散时间上的可见符号序列 XT x (1), x (2),,x (T ) X6 v ,v ,v ,v ,v ,v 例如： 5 1 1 5 2 3  • 观察到可见符号的概率 b P(x(t) v | (t )  ) b 1 j k k j  jk k 隐马尔可夫模型 • 状态转移图 一个例子 • 盒子编号不可见 • 每次从任一盒子中取出一个小球 • 隐藏状态：盒子编号 • 可见符号：小球 • 盒子i中取出各种小球的概率 • 得到某个特定小球序列的概率？ 离散HMM的符号表示 • 隐藏状态集 • 可见符号集