第3章神经网络3-径向基函数网络(n)..doc

第三章 径向基函数网络 44 3.1 径向基函数（Redial Basis Function，RBF） 44 3.2 径向基函数参数的选取 46 3.2.1 基函数中心的选取 46 3.2.2 权系数的确定 47 3.3 高斯条函数 48 第三章 径向基函数网络 径向基函数网络利用具有局部隆起的所谓径向基函数来做逼近或分类问题。它可以看作是一种前馈网络，所处理的信息在工作过程中逐层向前流动。虽然它也可以像BP网络那样利用训练样本作有教师学习，但是其更典型更常用的学习方法则与BP网络有所不同，综合利用了有教师学习和无教师学习两种方法。对于某些问题，径向基函数网络可能比BP网络精度更高。 3.1 径向基函数（Redial Basis Function，RBF） [Powell 1985]提出了多变量插值的径向基函数方法。稍后[Broomhead 1988]成功地将径向基函数用于模式识别。径向基函数可以写成 (3.1.1) 其中表示模式向量；是基函数中心；是权系数；是选定的非线性基函数。(3.1.1)可以看作是一个神经网络，输入层有个单元，输入模式向量由此进入网络。隐层有个单元，第个单元的输入为，输出为。输出层1个单元，输出为 。 假设给定了一组训练样本。只取有限个值（例如，取0，1或1）时，可以认为是分类问题；而当可取任意实数时，视为逼近问题。网络学习（或训练）的任务就是利用训练样本来确定输入层到隐层的权向量和隐层到输出层的权系数，使得 (3.1.2) 为此，当时，可以简单地令 (3.1.3) 这时(3.1.2)成为关于的线性方程组，其系数矩阵通常可逆，因此有唯一解(参见[MC])。在实践中更多的情况是。这时， (3.1.2)一般无解, 只能求近似解。我们将在下一节详细讨论这种情况。 1) 高斯基函数 确定了后，可以选取如下的高斯基函数来构造径向基函数： (3.1.4a) 式中 (3.1.4b) (3.1.4c) 这里参数是第个高斯基函数的“宽度”或“平坦程度”。越大，则以为中心的等高线越稀疏，越平坦对其它的影响就越大的一种选法是 (3.1.5) 即类所含的样本点与中心的平均距离越大, 则应该越平坦 (3.1.6) 3) 多二次函数 (3.1.7) 4) 逆多二次函数 (3.1.8) 一般认为，非线性函数的具体形式对网络性能的影响不大。 RBF网络与第一章讨论的多层前馈网络（MLP）一样，能以任意精度逼近相当广泛的非线形映射（例如参见[CL][LX]）。由(3.1.1)可以看出，每一个基函数 都可以（以为例）由平面上一族同心圆来表示，每一个同心圆上的点具有相同的函数值。而整个RBF网络不外乎是由族同心圆互相影响而形成的族等高线来表示。因此，RBF网络对如图3.1所示的分类问题特别有效（）。 图3.1 适合于RBF 3.2 径向基函数参数的选取 3.2.1 基函数中心的选取 RBF网络中隐单元的个数（即基函数的个数）已经确定，则决定网络性能的关键就是个基函数中心的选取。一种广泛应用的无教师学习算法是如下的k－均值聚类算法I： ① 给定训练样本。 将聚类中心初始化。(例如可选为。) ③ 将按距离远近向聚类，分成P组 (3.2.1) 若。 ④ 计算样本均值，作为新的聚类中心（是类中样本的个数）： , (3.2.2) ⑤ 若新旧相差很小，则停止。否则转③。 K-均值聚类算法是循环地选取聚类中心的一个迭代过程。（暂时）选定各中心后，在步骤③中按距离远近将向聚类得到应该是十分自然的。而与中各个的“总的距离”（即各个距离的平方和）