第二讲 线性分类器.pdf

《模式识别》讲义2011 版：第二讲 线性分类器 第二讲 线性分类器 一、 判别函数 1、决策论方法 在模式识别中，如果根据模式特征信息，按照决策论的思路，以一定 的数量规则来采取不同的分类决策，将待识别的模式划分到不同的类别中 去，就称为模式识别的决策论方法。 在决策论方法中，特征空间被划分成不同的区域，每个区域对应一个 模式类，称为决策区域。当我们判定待识别的模式位于某个决策区域时， 就判决它可以划归到对应的类别中。 图1 决策区域 需要注意的是：决策区域包含模式类中样本的分布区域，但不等于模 式类的真实分布范围。 2、判别函数 如果特征空间中的决策区域边界可以用一组方程 G (x ) 0 i 来表示，则将一个模式对应的特征向量x 代入边界方程中的G (x ) ，确 i 定其正负符号，就可以确定该模式位于决策区域边界的哪一边，从而可以 判别其应当属于的类别，G (x ) 称为判别函数。 i 判别函数的形式可以是线性的或非线性的。例如图 2 就显示了一个非 第 1 页 自动化学院 模式识别与智能系统研究所 高琪 gaoqi@bit.edu.cn 《模式识别》讲义2011 版：第二讲 线性分类器 线性判别函数，当 G(x )0 时，可判别模式x ∈ω ；当G(x )0 时，可判别x 1 ∈ω 。 2 图2 非线性判别函数 非线性判别函数的处理比较复杂，如果决策区域边界可以用线性方程 来表达，则决策区域可以用超平面来划分，无论在分类器的学习还是分类 决策时都比较方便。例如图 3 中的特征空间可以用两个线性判别函数来进 行分类决策： 当G (x )0 时，x ∈ω ； 21 2 当G (x )0 时，x ∈ω ； 13 3 当G (x )0 且 G (x )0 时，x ∈ω 。 21 13 1 图3 线性判别函数 在判别函数中，特别要注意函数名下标所对应的类别和判别函数正负 第 2 页 自动化学院 模式识别与智能系统研究所 高琪 gaoqi@bit.edu.cn 《模式识别》讲义2011 版：第二讲 线性分类器 号之间的关系。一般来说，当判别函数 G (x )对某个特征向量x 取得正值时， ij x 对应的模式应当有可能归于类 i ，而不会归于类j 。 3、线性可分性和广义线性判别函数 一个模式识别问题是否线性可分 （linearly separable ），取决于是否有可 能找到一个超平面来分离开两个相邻的类别。如果每个类别的分布范围本 身是全连通的单一凸集，且互不重叠，则这两个类别一定是线性可分的。 因此，线性不可分的情况有可能包含两种情况： （1） 至少有一个类别的分布范围是凹的，且其凸包和另一个类别的分 布范围重叠； 图4 包含凹区域的线性不可分情况 （2 ）