04-模式识别-非线性分类详解.ppt

王杰(博士/教授/博导)郑州大学电气工程学院 Non Linear Classifiers The XOR problem 不存在一条线(或超平面)可以把类A和B分开，与此相反，AND何OR问题都是线性可分的问题。 The Two-Layer Perceptron(双层感知器) For the XOR problem, draw two, instead, of one lines Then class B is located outside the shaded area and class A inside. This is a two-phase design(二阶段设计). Phase 1: Draw two lines (hyperplanes) Each of them is realized by a perceptron. The outputs of the perceptrons will be depending on the position of x. Phase 2: Find the position of x w.r.t.(关于) both lines, based on the values of y1, y2. 第一阶段的计算完成了从非线性可问题到线性可分问题的映射. The architecture 这就是熟知的两层感知器，一层为隐层，另一层为输出层。激活函数的表达式为： 上图所示的图形中，各神经元(节点)实现了如下的直线(超平面)： 双层感知器的分类能力(p.64) 感知器隐层(第一层)的作用是将输入空间x映射到二维空间中单位边长的正方形的顶点上，即： (0, 0), (0, 1), (1, 0), (1, 1). 更一般地，将l 维输入映射到 p 维空间单位边长的超维正方体的顶点： 映射由p个神经元完成，每个神经元实现一个超平面。这些神经元每个的输出都是0或者1,取决于样本x相对于超平面的相对位置。 这些超平面所形成的交集就构成了l 维空间上的域，每个域相对于Hp 维超立方体的一个顶点。 例如，001顶点对应于如下位置的域： g1 (x)=0的负侧 g2 (x)=0的负侧 g3 (x)=0的正侧 Three layer-perceptrons(三层感知器) The architecture 三层感知器可以分离由多面体区域的任何并集产生的类 方法类似于解决XOR问题，三层感知器可以在 空间实现多于一个的超平面。 The reasoning (证明) For each vertex(顶点), corresponding to class, say A, construct a hyperplane which leaves THIS vertex on one side (+) and ALL the others to the other side (-). The output neuron realizes an OR gate Overall(总体): 第一层(第一隐层)形成超方体，将样本映射于各顶点，第二层形成域，形成并集可分，第三层(输出)完成分类. Designing Multilayer Perceptrons(多层感知器设计) One direction is to adopt the above rationale and develop a structure that classifies correctly all the training patterns(思路1：增加层数使得所有训练样本模式分类正确). The other direction is to choose a structure and compute the synaptic weights to optimize a cost function(思路2：选一种结构，训练和优化权值使代价函数最小). The Backpropagation Algorithm(反向传播算法) This is an algorithmic procedure that computes the synaptic weights iteratively(迭代地), so that an adopted cost function is minimized (optimized)极小-优化 在大规模优化计算中，当包含导数计算时，不连续的激发函数将会带来问题： There is always an