工学线性二次分类器.pptx

2019/10/26;2019/10/26;2019/10/26;2019/10/26;2019/10/26;2019/10/26;2019/10/26;2019/10/26;2019/10/26;2019/10/26;2019/10/26;2019/10/26;2019/10/26;2019/10/26;2019/10/26;2019/10/26;2019/10/26;2019/10/26;2019/10/26;2019/10/26;2019/10/26;2019/10/26;2019/10/26;2019/10/26;2019/10/26;2019/10/26;2019/10/26;2019/10/26;2019/10/26;2019/10/26;Linear Discriminant AnalysisLDA;问题的起源;步骤如下： 给定某个线性判别函数类g(x) 利用样本集X确定判别函数类g(x)中的未知参数(给定一个cost function用最优化方法使代价函数取极值) 把未知样本x归类到具有最大的判别函数值的类别中;用判别函数分类的概??? 用判别函数进行模式分类依赖的两个因素 （1）判别函数的几何性质：线性的和非线性的函数。 线性的是一条直线； 非线性的可以是曲线、折线等； 线性判别函数建立起来比较简单（实际应用较多）； 非线性判别函数建立起来比较复杂。 （2）判别函数的系数：判别函数的形式确定后，主要就是确定判别函数的系数问题。 只要被研究的模式是可分的，就能用给定的模式样本集来确定判别函数的系数 ;线性判别函数的给定;Example1:;线性判别函数 分类问题 [多类情况2] [判别函数] [图例] [例子] ;多类情况1和多类情况2的比较 对于M类模式的分类，多类情况1需要M个判别函数，而多类情况2需要M*(M-1)/2个判别函数，当M较大时，后者需要更多的判别式（这是多类情况2的一个缺点）。 采用多类情况1时，每一个判别函数都要把一种类别的模式与其余M-1种类别的模式分开，而不是将一种类别的模式仅于另一种类别的模式分开。 由于一种模式的分布要比M-1种模式的分布更为聚集，因此多类情况2对模式是线性可分的可能性比多类情况1更大一些（这是多类情况2的一个优点）。;广义线性判别函数: ;结论: 对任意判别函数作级数展开，然后取其截尾部分的逼近,通过适当的变换，都可以化为广义线性判别函数来处理. 解决由样本集设计线性分类器的主要步骤: ;令 ;投影 比 要好。投影后的均值 和方差 是衡量类可分性的一个准则。 ;令 是任一准则函数（要最大或最小的），要确定使f最大（小）的v和v0。 ;由于 ;由以上两式可以计算出v，但由于错误率只依赖v的方向，而不是它的大小。因而可以消去v的常数系数（不是mi和Σi的函数）。 ;注意，上面得出的v和f无关，f只是出现在s中。 回想在正态、等协方差的情况下，有 这里是用s和(1－s)对Σ1和Σ2作加权平均。当f的具体形式给出后，v0是 的解。;准则函数的选取;回想一下，若有 ;;这样分类器的形式就成为： ;例1：Fisher线性分类器。 ;例2：另种准则是 ;感知准则函数(应用于线性可分的样本集) 原理: 一旦判别函数的形式确定下来，不管它是线性的还是非线性的，剩下的问题就是如何确定它的系数。 在模式识别中，系数确定的一个主要方法就是通过对已知样本的训练和学习来得到。 感知器算法就是通过训练样本模式的迭代和学习，产生线性（或广义线性）可分的模式判别函数。 采用感知器算法(Perception Approach)能通过对训练模式样本集的“学习”得到判别函数的系数。 这里采用的算法不需要对各类别中模式的统计性质做任何假设，因此称为确定性的方法。 感知器算法的收敛性 只要模式类别是线性可分的，就可以在有限的迭代步数里求出权向量（判别函数的系数）。;设:样本集Y={y1, y2,…, yN}为对应于X= {x1, x2,…, xN}的增广样本集.;感知准则函数 ; 当用全部模式样本训练过一轮以后，只要有一个模式是判别错误的，则需要进行下一轮迭代，即用全部模式样本再训练一次。 如此不断反复直到全部模式样本进行训练都能得到正确的分类结果为止。;权空间 若将直线方程x1w1+x2w2+w3=0绘在权向量w=(w1 w2 w3)T的三维空间中，则x=(x1 x2 1)T为方程的系数。 若以x向量作为法线向量，则该线性方程所决定的平面为通过原点且与法线向量垂直的平面，它同样将权空间划分为正、负两边。 在系数x不变的条件下，若w值落在法线向量离开平面的一边，则wTx