BP神经网络 RBF神经网络 自组织竞争型神经网络要点.ppt

第五章 自组织竞争型神经网络 5.1概述 5.2竞争学习机制和自稳学习机制 5.3自适应共振理论神经网络（ART） BP网络虽已得到广泛应用，然而，它在构成网络时未能充分借鉴人脑工作的特点，因而其功能有许多不足之处： 对比之下，人脑的优越性就极其明显了。人的大脑是一个庞大、复杂的神经网络系统，它不仅可以记忆来自外界的各种信息，即具有可塑性，而且还可以将新、旧信息保存下来，即具有稳定性。人的脑神经系统既能牢固地记住学得的各种知识又能适应各种复杂多变的环境，能够通过“自学”来认识未学习过的新事物并解决不熟悉的新问题。因此，我们在研究、设计和开发人工神经网络时，应该充分借鉴人脑的学习方法： （1）BP神经网络只适用于平稳的环境，这就是说，输入模式的各项统计特征不能随时间而变化（各种客体、客体间的关系以及相应的观察矢量具有统计平衡性）。但是，真实的世界不是或不完全是这样。 （2）BP网络的学习是在教师指导下的有监督学习，它不能自学；另一方面，网络的学习状态与工作状态是截然分开的，它不能边学习边工作。 （3）学习过程中神经网络的所有权值系数都要调整，而且为了防止振荡现象出现，学习的步幅必须取为较小的数值，这就使学习速度非常缓慢。 （4）在完成分类功能时如果被区分的客体类别数超出了神经网络可区分的最大极限，而学习方式仍按照原来方式进行，那么根本不可能给出正确的学习结果。 （5）有可能陷入均方误差的局部最小点，从而造成错误的分类结果。 （6）误差准则是固定的，不能随着环境的变化而进行相应的调整或改变。 （1）自主的（自治的）； （2）自组织； （3）自学习； （4）联想（双向）。 这正是自适应谐振理论（ART）的研究出发点。 竞争学习的原理可借助于图5.1给出的示意图加以描述。 第一步，我们暂且不考虑图中虚线表示的自稳机制部分。假设输入观察矢量是一个N维二进矢量X，X=[x0x1…xN-1]，它的各个分量只能取0或1，即xj=0或1，j=0~（N-1）。系统的输出是一个M维二进矢量Y，Y=[y0y1…yM-1]，它的各个分量也只能取值为0或1。此系统分成三层，F2和F1分别称为上、下短期记忆层，并记之为STM（STM是“short time memory”的缩写，F2和F1之间是一个长期记忆层，记之为LTM（“long time memory”的缩写）。各层的运算功能分别介绍如下： F1层（STM） 此层的输入是观察矢量X，输出是N维矢量S，S=[s0s1…sN-1]。在最简单的情况下，S的各个分量Sj可以用下列公式计算： j=0~(N-1) （5-1） 易于证明，矢量S的模为1, 。这就是说，F1层的作用是使任何输入观察矢量规格化，即使之成为具有同样模值的矢量。 F1和F2之间的中层（LTM） 在此层由矢量S计算出一个M维矢量，T=[t0t1…tM-1]。T的各分量按下式计算： （5-2） 由于其中的各权值系数wij的变化相对于F1、F2而言缓慢得多（下面将指出，每输入一次观察矢量，它们只作微小的变化），所以它们保留的是系统的长期记忆内容。 F2层（STM） 此层的作用是由矢量T计算输出矢量Y，其计算公式为 若 （5-3） 可以看出，在输出层F2进行的是一种竞争抉择运算：在t0～tM-1之间，有一个最大的分量，其对应输出即定为1，而所有其它分量所对应的输出皆定为0。 下面讨论此系统用于分类时的学习策略 在学习开始以前，首先需要对LTM层中的各个权值系数置以随机初值wij（0），然后依次送入观察矢量X（k），随时按照下列公式将各个权重系数调整成一组新的数值： j=0~(N-1),i=0~(M-1) （5-4） 其中α是步幅值，取一个小正数值。可以看到，由于在y0(k)~yM-1(k)之中只有一项等于1而其它各项皆为0，因而只有与该非零项相应的权值系数才做调整，也就是说，只改变与竞争得胜者有关的各个权重系数，而其它所有权重值系数皆维持不变。对于竞争得胜者，与其有关的各权重系数的调整策略是使各wij（此处设得胜者的编号为i=I）与规格化输入矢量S（k）的各分量Sj（k）趋于一致。如果设Wj=[ wI0 w