5第五章 线性分类器(几何分类器).ppt

5.1 几何分类器的基本概念 5.2 线性判别函数 5.3 线性判别函数的实现 5.4 感知器算法 5.5 最小平方误差算法(LMSE) 5.6 Fisher分类 5.7 非线性判别函数 5.1 几何分类器的基本概念 线性可分情况 线性不可分情况 5.2 线性判别函数 两个特征  2) 三个特征  3) 三个以上特征  5.3 线性判别函数的实现 5.4 感知器算法 一般求解方法—梯度下降法 求解不等式组采用的最优化的方法： 定义一个准则函数J(a)，当a是解向量时，J(a)为最小； 采用最优化方法求解标量函数J(a)的极小值。 最优化方法采用最多的是梯度下降法，设定初始权值矢量a(1)，然后沿梯度的负方向迭代计算： 一般求解方法—梯度下降法 求解不等式组采用的最优化的方法： 定义一个准则函数J(a)，当a是解向量时，J(a)为最小； 采用最优化方法求解标量函数J(a)的极小值。 最优化方法采用最多的是梯度下降法，设定初始权值矢量a(1)，然后沿梯度的负方向迭代计算： 一般求解方法—梯度下降法 求解不等式组采用的最优化的方法： 定义一个准则函数J(a)，当a是解向量时，J(a)为最小； 采用最优化方法求解标量函数J(a)的极小值。 最优化方法采用最多的是梯度下降法，设定初始权值矢量a(1)，然后沿梯度的负方向迭代计算： 感知器算法的特点 当样本线性可分情况下，学习率 合适时，算法具有收敛性； 收敛速度较慢； 当样本线性不可分情况下，算法不收敛，且无法判断样本是否线性可分。 5.5 最小平方误差算法(LMSE) LMSE方法的基本思想是将求解线性不等式组的问题转化为求解线性方程组： 最小平方误差的准则函数 定义方程组的误差矢量e，用e长度的平方的一半作为准则函数： 最小平方误差的准则函数 1）对于所有已知训练特征向量的期望输出和实 际输出中间的误差进行累加； 2）而不是计算均值； 3）可以减少对概率密度函数信息的需求。 LMSE算法的特点 算法的收敛依靠η(k)的衰减，一般取η(k)=η(1)/k； 算法对于线性不可分的训练样本也能够收敛于一个均方误差最小解； 取b=1时，当样本数趋于无穷多时，算法的解以最小均方误差逼近贝叶斯判别函数； 当训练样本线性可分的情况下，算法未必收敛于一个分类超平面。 5.6 Fisher分类 5.7 非线性判别函数 5.8 本章小结 理论基础 1）在应用统计方法解决模式识别问题时，经常会遇到所谓的“维数灾难”的问题，在低维空间里适用的方法在高维空间里可能完全不适用。 2）因此，压缩特征空间的维数有时是很重要的。 3）Fisher方法实际上涉及维数压缩的问题。 52 53 如何找到这个最好的直线方向以及如何实现向最好方向投影的变换，这正是Fisher算法要解决的基本问题，这个投影变换恰是我们所寻求的解向量 。 54 1)最好的投影方向：使投影以后两类尽可能分开，而各类内部又尽可能聚集。建立Fisher准则函数： 54 样品类间离散度矩阵 总类内离散度矩阵 类内离散度矩阵 （投影以后的空间） 54 （投影以后的空间） （Fisher准则下的 最优投影方向） 具体方法如下： 1）计算各类样品均值向量。 2）计算样品类内离散度矩阵和总类间离散度矩阵。 3）计算样品类间离散度矩阵。 4）求向量 。 5）将训练集内所有样品进行投影。 6）计算在投影空间上的分割阈值。 7）对于给定的X，计算出它在 上的投影点。而后根据决策规则进行分类。 56 要实现Fisher分类，首先要实现两类Fisher算法，两类Fisher算法能够返回最接近待测样品的类别，然后用返回的类别和新的类别作两类Fisher运算，又能够得到比较接近的类别，以此类推，直至所有的类别，最后得出未知样品的类别。 实现步骤 57 两类Fisher算法实现步骤如下： 1）求两类样品均值向量。 2）求两类样品类内离散度矩阵。 3）求总类间离散度矩阵。 4）求向量 。 5）对于两类已知样品，求出它们在 上的投影点 6）求各类样品在投影空间上的均值。 7）选取阈值。 8）对于未知样品X，计算它在 上的投影点。 9）根据决策规则分类。 58 59 第五章 几何分类器专题 28