文档详情

模式识别–参数估计.ppt

发布:2017-05-05约8.12千字共50页下载文档
文本预览下载声明
第五章 统计决策中的 参数与非参数估计 主要内容 参数估计与监督学习 参数估计理论 非参数估计理论 参数估计与监督学习 监督学习与无监督学习 监督学习:在已知类别样本指导下的学习和训练, 参数估计和非参数估计都属于监督学习。 无监督学习:不知道样本类别,只知道样本的某些 信息去估计,如:聚类分析。 5.2参数估计 5.2.1矩法估计(书上) 5.2.2最大似然估计(MLE) 假定: ①待估参数θ是确定的未知量 ②按类别把样本分成M类X1,X2,X3,… XM 其中第i类的样本共N个 Xi = (X1,X2,… XN)T 并且是独立从总体中抽取的 ③ Xi中的样本不包含 (i≠j)的信息,所以可以对每一 类样本独立进行处理。 ④ 第i类的待估参数 根据以上四条假定,我们下边就可以只利用第i类学习样 本来估计第i类的概率密度,其它类的概率密度由其它类 的学习样本来估计。 1.原理: 第i类样本的类条件概率密度: P(Xi/ωi)= P(Xi/ωi﹒θi) = P(Xi/θi) 原属于i类的学习样本为Xi=(X1 , X2 ,…XN,)T i=1,2,…M 求θi的最大似然估计就是把P(Xi/θi)看成θi的函数,求出使它最大时的θi值。 ∵学习样本独立从总体样本集中抽取的 ∴ N个学习样本出现概率的乘积 取对数 : 对θi求导,并令它为0: 有时上式是多解的, 上图有5个解,只有一个解最大即. 2. 多维正态分布情况 ① ∑已知, μ未知,估计μ 服从正态分布 所以在正态分布时 结论 所以 这说明未知均值的最大似然估计正好是训练样本的算术平均。 ② ∑, μ均未知 A. 一维情况:n=1对于每个学习样本只有一个特征的简单情况: (n=1)由上式得 即学习样本的算术平均 样本方差 讨论: 1.正态总体均值的最大似然估计即为学习样本的算术平均 2.正态总体方差的最大似然估计与样本的方差不同,当N较大的时候,二者的差别不大。 B.多维情况:n个特征 估计值: 结论:①μ的估计即为学习样本的算术平均 ②估计的协方差矩阵是矩阵 的算术 平均(nⅹn阵列, nⅹn个值) 5.3贝叶斯估计与学习 估计步骤: ① 确定θ的先验分布P(θ),待估参数为随机变量。 ② 用第i类样本xi=(x1, x2,…. xN)T求出样本的联合概率密度分布P(xi|θ),它是θ的函数。 ③?利用贝叶斯公式,求θ的后验概率 ? ④ 例子 下面以正态分布的均值估计为例说明贝叶斯估计的过程 一维正态分布:已知σ2,估计μ 假设概率密度服从正态分布 P(X|μ)=N(μ,σ2), P(μ)=N(μ0,σ02) 第i类学习样本xi=(x1, x2,…. xN)T, i=1,2,…M 第i类概率密度P(x|μi,xi)=P(x|xi) 所以后验概率 (贝叶斯公式) 因为N个样本是独立抽取的,所以上式可以写成 其中
显示全部
相似文档