第二章_贝叶斯决策理论.doc

第二章 贝叶斯决策理论 引言 统计模式识别方法以样本特征值的统计概率为基础： 先验概率、类（条件）概率密度函数和后验概率。 Bayes公式体现这三者关系的公式。 本章讨论的内容在理论上有指导意义，代表了基于统计参数这一类的分类器设计方法，结合正态分布使分类器设计更加具体化。 模式识别算法的设计都是强调“最优”，即希望所设计的系统在性能上最优。是指对某一种设计原则讲的，这种原则称为准则。使这些准则达到最优，如最小错误率准则，基于最小风险准则等,讨论几种常用的决策规则。设计准则,并使该准则达到最优的条件是设计模式识别系统最基本的方法。 思考？ 机器自动识别分类，能不能避免错分类，如汉字识别能不能做到百分之百正确？怎样才能减少错误？ 错分类往往难以避免，因此就要考虑减小因错分类造成的危害损失，有没有可能对一种错分类严格控制？ 贝叶斯决策理论与方法基本概念 给定一个m模式类的分类任务以及各类在这n维特征空间的统计分布, 要区分出待识别样本属于这m类样本中的哪一类问题。假设一个待识别的样本用n个属性观察值描述，称之为n个特征，从而组成一个n维的特征向量，而这n维征向量所有可能的取值范围则组成了一个n维的特征空间。特征空间的统计分布 , =1,2,…,m的先验概率： 类条件概率密度函数：（可解释为当类别已知的情况下， 样本的概率 分布密度函数） 后验概率：生成m个条件后验概率，=1，2，…，m。也就是对于一个特征 向量，每一个条件后验概率都代表未知样本属于某一特定类的概率。 第一节 基于最小错误率的贝叶斯判别方法 (一).两类情况 两类情况是多类情况的基础，多类情况往往是用多个两类情况解决的。 ① 用,=1, 2表示样本（一般用列向量表示）所属的类别。 ② 假设先验概率,已知。(这个假设是合理的，因为如果先验概率未知，可以从训练特征向量中估算出来，即如果是训练样本总数，其中有个样本分别属于，则相应的先验概率： ,) ③ 假设（类）条件概率密度函数=1，2 如果,则 （2-1-1） 贝叶斯分类规则就是看的可能性大，还是的可能性大。，i=1,2解释为当样本出现时，后验概率和的大小从而判别为属于或属于类。 三种概率的关系――――贝叶斯公式： （2-1-3） 其中，是的概率密度函数（全概率密度），它等于所有可能的类概率密度函数乘以相应的先验概率之和。 因为对于所有的类都是一样的,可视为常数因子，它并不影响结果，不考虑。故可采用下面的写法比较后验概率的大小： 则有 (2-1-4) （二）多类的情况 ① 表示样本所属的m个类别。 ② 先验概率, ＝1,2,…, m ③ 假设类条件概率密度函数，=1，2，…,m已知,计算后验概率后，若： ＞ 则类。这样的决策可使分类错误率最小。因此叫做基于最小错误率的贝叶斯决策。 R1和R3的分界点是＝的交点。 R2和R3的分界点是＝的交点。2-1-1 图2-1-2 决策域、决策面，决策面方程和判决函数和分类器 决策域、决策面、决策面方程 对于m类的分类任务，按照决策规则可以把多维特征空间划分成m个决策区域，叫决策域。 两个区域，的边界叫决策面，是一维时，决策面是一个点；二维时，决策面是一条曲（直）线；三维时，决策面是一曲（平）面；n维时，决策面是一个超曲（平）面。 在数学上用解析形式可以表示为用决策面方程描述。可将决策面看作有正负的界面，对于任一样本，代入决策面方程左边的多项式，若是正的，说明；若为负，说明。 判别函数　把描述决策规则的某种函数叫判别函数，例如≡，其中是一个单调上升函数。对于最小错误率的情况，可描述为，用判决函数描述决策面方程更方便。 　　 分类器 分类器可以看成是由软件或硬件组成的一个“分类的机器”，它的功能是先计算出m个判别函数，再从中选出判别函数最大值的类作为决策结果。 基于最小错误率的判决规则的其他形式 由，则这种判决规则，可写成 若 ，则有 （2-2-5） 这里把叫做似然函数，把叫做似然比，叫做似 然比阈值。还可以对（2-1-5）式取自然对数的负值，则有 若 ，则有 （2-2-6） 基