贝叶斯决策理论与统计判决方法.ppt

第二章 贝叶斯决策理论与统计判决方法;引言;例：鱼的分类;例：鱼的分类;例：鱼的分类;例：鱼的分类;例：鱼的分类;例：鱼的分类;例：鱼的分类;例：鱼的分类;例：鱼的分类;例：鱼的分类;例：统计模式识别;例：统计模式识别;例：统计模式识别;特征空间;贝叶斯决策理论 ;几种常用的决策规则;Bayes公式：设实验E的样本空间为S，A为E的事件，B1,B2,…,Bn为S的一个划分，且P(A)0，P(Bi)0，(i=1,2,…,n)，则:;;例：考试有用吗？;例：考试有用吗？;会骗人的测谎仪;会骗人的测谎仪;条件概率;基于最小错误率的贝叶斯决策;基于最小错误率的贝叶斯决策;对于两类?1， ?2问题，直观地，可以根据后验概率做判决：;将P(?i|x)代入判别式，判别规则可表示为;已知：（统计结果） 先验概率： P(?1)=1/3（鲈鱼出现的概率） P(?2)=1-P(?1)=2/3 （鲑鱼出现的概率） 条件概率： p(x|?1) 见图示（鲈鱼的长度特征分布概率） p(x|?2)见图示（鲑鱼的长度特征分布概率）;解法1：;写成似然比形式;;;例：男女性别识别;例：男女性别识别;例：男女性别识别;例：癌细胞的识别 ;例：癌细胞的识别 ;例：癌细胞的识别 ;例：癌细胞的识别 ;例：癌细胞的识别 ;例：癌细胞的识别 ;例：癌细胞的识别 ;例：癌细胞的识别 ;最小误判概率准则;最小误判概率准则下的判决规则： 如果， 则判;另一个等价形式是： 如果 则判;对于多类问题，最小误判概率准则有如下几种等价的判决规则:;基于最小风险的贝叶斯决策 ;基于最小风险的贝叶斯决策 ;基于最小风险的贝叶斯决策 ;(1)自然状态与状态空间。其中自然状态是指待识别对象的类别，而状态空间Ω则是由所有自然状态所组成的空间，　　Ω={ω1，ω2，…，ωc}(2)决策与决策空间。在决策论中，对分类问题所作的判决，称之为决策，由所有决策组成的空间称为决策空间。决策不仅包括根据观测值将样本划归哪一类别(状态)，还可包括其它决策，如“拒绝”等，因此决策空间内决策总数a可以不等于类别数c,表示成　　  (3)损失函数λ(αi|ωj)(或写成λ(αi,ωj))。这就是前面引用过的 。它表示对自然状态ωj，作出决策αi时所造成的损失。(4)观测值X条件下的期望损失R(αi|X),　　 　 ,i=1,2,…,a　　(2-14)　　 这就是前面引用的符号Ri，也称为条件风险。与式(2-10)类似，最小风险贝叶斯决策规则可写成：　　 如果 ,则α=αk (2-15) 但与(2-10)式不同的是，这里计算的是最小值。与基于最小错误概率的决策方法中所引用的平均错误率P(e)相类似，在这里引入一个期望风险R， (2-16) 它表示对所有X取值所作的决策α(X)所带来的平均风险。当所采取的每一个决策都使其条件风险最小，则对所有的X所作的决策，其期望风险也必然最小。;具体步骤;例：癌细胞的识别;基于最小风险的贝叶斯决策 ;判别函数、决策面与分类器设计 ;判别函数、决策面与分类器设计 ;判别函数、决策面与分类器设计 ;判别函数、决策面与分类器设计 ;判别函数、决策面与分类器设计 ;单变量正态分布;单变量正态分布;多元正态分布的概率密度函数;多元正态分布的概率密度函数;多元正态???布的概率密度函数;多元正态分布的概率密度函数;多元正态分布的概率密度函数;多元正态分布的性质 ;多元正态分布的性质 ;多元正态分布的性质 ;多元正态分布的性质 ;正态分布概率模型下的最小错误率贝叶斯决策 ;正态分布概率模型下的最小错误率贝叶斯决策 ;正态分布概率模型下的最小错误率贝叶斯决策 ;最小距离分类器 ;最小距离分类器 ;最小距离分类器 ;最小距离分类器 ;;当P(ωi)= P(ωj)时，超平面通过μi与μj连线中点并与连线正交，如图所示。 ;最小距离分类器 ;最小距离分类器 ;最小距离分类器 ;最小距离分类器 ;最小距离分类器 ;最小距离分类器 ;线性分类