判别分析方法.docx

判别分析距离判别分析距离判别的最直观的想法是计算样品到第i类总体的平均数的距离，哪个距离最小就将它判归哪个总体，所以，我们首先考虑的是是否能够构造一个恰当的距离函数，通过样本与某类别之间距离的大小，判别其所属类别。设和是从期望为和方差阵的总体G抽得的两个观测值，则称X与Y之间的马氏距离为：样本X与之间的马氏距离定义为X与类重心间的距离，即：附注：马氏距离与欧式距离的关联：，马氏距离转换为欧式距离；马氏距离与欧式距离的差异：马氏距离不受计量单位的影响，马氏距离是标准化的欧式距离两总体距离判别先考虑两个总体的情况，设有两个协差阵相同的p维正态总体，对给定的样本Y，判别一个样本Y到底是来自哪一个总体，一个最直观的想法是计算Y到两个总体的距离。故我们用马氏距离来给定判别规则，有：当和已知时，是一个已知的p维向量，W（y）是y的线性函数，称为线性判别函数。称为判别系数。用线性判别函数进行判别分析非常直观，使用起来最方便，在实际中的应用也最广泛。当总体的协方差已知且不相等此判别函数是y的二次函数多总体距离判别分为协方差阵相同和协方差阵不同两种情况，它们的判别函数有差异，而判别准则无差异。一般来说，用距离最近准则判别是符合习惯的，但会发生误判，各总体发生误判的概率和阀值的选择有关。当总体靠得很近，无论用那种方法误判概率都很大，作判别分析无意义。因此，判别分析的前提是各总体均值必须有显著差异。设有个K总体，分别有均值向量μi(i=1,2,…,k)和协方差阵Σi= Σ，各总体出现的先验概率相等。又设Y是一个待判样品。则与的距离为（即判别函数）上式中的第一项与无关，则舍去，得一个等价的函数:将上式中提-2，得则距离判别法的判别函数为判别规则为距离判别只要求知道总体的数字特征，不涉及总体的分布函数，当参数和协方差未知时，就用样本的均值和协方差矩阵来估计。距离判别方法简单实用，但没有考虑到每个总体出现的机会大小，即先验概率，没有考虑到错判的损失。贝叶斯判别法正是为了解决这两个问题提出的判别分析方法。Bayes 判别法基本思想贝叶斯判别法是源于贝叶斯统计思想的一种判别分析法。这种方法先假定对研究对象已有一定的认识，这种认识以先验概率来描述，然后取得一个样本，用样本来修正已有的认识，得到后验概率分布，比较这些概率的大小，将待判样品判归为来自概率最大的总体。对多个总体的判别考虑的不是建立判别式,而是比较后验概率的大小。Bayes判别法1、引例办公室新来了一个雇员小王，小王是好人还是坏人大家都在猜测。按人们主观意识，一个人是好人或坏人的概率均为0.5。坏人总是要做坏事，好人总是做好事，偶尔也会做一件坏事，一般好人做好事的概率为0.9，坏人做好事的概率为0.2，一天，小王做了一件好事，小王是好人的概率有多大，你现在把小王判为何种人。贝叶斯公式：2、bayes判别法设总体，具有密度函数，并且根据以往的统计分析，知道出现的概率为。当样本发生时，它属于某类的概率为：则判别规则：则属于。等价于属于。特别情况下，如总体服从正态分布，则对应的bayes判别法推到如下：上式两边取对数并去掉与i无关的项，则等价的判别函数为：问题转化为若，则判当协方差阵相等，即则判别函数退化为：令问题转化为若，则判再令：问题转化为若，则判当先验概率相等，，有完全成为距离判别法。二、最小平均误判代价准则在进行判别分析时难免会发生误判，各种误判的后果有所不同。我们可以根据误判的代价来规定判别规则，最小平均误判代价准则。设总体，具有密度函数，并且根据以往的统计分析，知道出现的概率为，又D1，D2，┅，Dk是R(p)的一个分划，判别法则为：当样品X落入Di时，则判关键的问题是寻找D1，D2，┅，Dk分划，这个分划应该使平均错判率最小。1、平均错判损失用P(j/i)表示将来自总体Gi的样品错判到总体Gj的条件概率。 c(j/i)表示相应错判所造成的损失。则来于第i个总体被错判到其它总体的错判损失为：由于不同的总体有不同的先验概率，则总平均损失ECM为使ECM最小的分划，是Bayes判别分析解2、定理若总体G1，G2，，Gk的先验概率为，且相应的密度函数为}，损失为,则划分的Bayes解为其中含义是：当抽取了一个未知总体的样品值x，要判别它属于那个总体，只要先计算出k个按先验概率加权的误判平均损失然后比较其大小，选取其中最小的，则判定样品属于该总体。为了直观说明，作为例子，我们讨论k=2的情形由此可见，要使ECM最小，被积函数必须在D1是负数，则有分划Bayes判别准则为：Fisher判别分析基本思想fisher判别分析的基本思想是投影，即将k组m元数据按向量投影为一元数据，同时使得组间距离最大，同组内距离最小。其中组间距离可用利用组间平方和统计，组内距离利用组内平方和统计。两总体fisher判别法投