BP神经网络的发展综述.docx

BP神经网络的发展综述江中正（中山大学工学院，广东广州）摘要：本文简要介绍BP神经网络的发展背景，然后针对其存在的不足，详细地介绍了各种BP神经网络的改进方法以及改进后的各种应用，并对BP网络以后的发展方向进行展望。关键词：BP网络;应用;发展现状；改进方法BP神经网络的发展背景人工神经网络（Artificial Neural Network, ANN），简称“神经网络”，作为对人脑最简单的一种抽象和模拟，是探索人类智能奥秘的有力工具。神经网络起源于20世纪40年代，至今已有半个多世纪，大致经历三个阶段。20世纪50~60年代是第一次研究高潮。在1943年，由心理学家McCulloch 和数学家Pitts共同提出MP模型，开创神经科学理论研究的时代。到了60~70年代，Minsky证明了感知器不能实现异或问题，也不能实现其他事的谓词函数。1969年他和Papert的一本论著《Percertrons》对当时与感知器有关的研究工作产生恶劣影响，使许多人对神经网络研究失去信心，神经网络研究转入低潮时期。在这时期Werbos提出了BP理论及反向传播原理。而80年代至今神经网络研究进入第二次研究高潮。1986年Romelhart和Mcclelland提出了误差反向传播算法 ( Error Back PropagationAlgorithm ,简称BP算法) ,由于多层前馈网络的训练经常采用误差反向传播算法 ,人们也常把多层前馈网络称为BP网络。由于具有结构简单、工作状态稳定、易于硬件实现等优点，BP网络是迄今为止最常用、最普通的神经网络。目前在神经网络世纪应用中，80%~90%的人工神经网络模型都是采用BP网络或其变化形式。BP网络是前向网络的核心部分，体现了人工神经网络最精华的部分，广泛应用于模式识别及分类、系统仿真、故障智能诊断、图像处理、函数拟合、最优预测等各个领域当中。BP网络的描述BP神经网络也称误差反向传播神经网络，是一种有非线性变换单元组成的多层前馈型神经网络，具有输入层、隐含层和输出层，层与层之间多采用全连接方式，同一层单元之间不存在相互连接。图一给出一个典型3层BP神经网络结构。BP学习算图一法是训练人工神经网络的基本方法，其实质是求解误差函数的最小值问题，利用它可实现多层前馈神经网络权值的调整。BP网络学习算法包括两个过程，一是信息的正向传播，另一个是误差的方向传播。正向传播过程：输入样本从输入层传入 ,经各隐层逐层处理后,传向输出层。误差反向传播过程：如果输出响应与期望输出样式有误差不满足要求，那么就转入误差反向传播，将输出误差以某种形式通过隐层向输入层逐层反传,并将误差分摊给各层的所有单元,从而获得各层单元的误差信号,此误差信号作为修正各单元权值的依据。由“模式顺传播”与“误差逆传播”是反复交替进行的网络“记忆训练”过程；网络趋向收敛即网络的全局误差趋向极小值的“学习收敛”过程。简言之，就是由“模式顺传播”—“误差逆传播”—“记忆训练”—“学习收敛”的过程。三层前馈网中 ,输入向量为 X = ( x1 , x2 , …, xi , …,xn)T,隐层输出向量为 Y = ( y1 , y2 , …, yj , …, ym )T ,输出层输出向量为 O = ( o1 , o2 , …,ok , …or)T。期望输出向量为 d = ( d1 , d2 , …, dk , …dr )T。输入层到隐层之间的权值矩阵用 V 表示, V = ( V 1 , V 2 , …,V j , …V m) ,其中列向量 V j 为隐层第 j 个神经元对应的权向量;隐层到输出层之间的权值矩阵用 W 表示, W = ( W1 ,W2 , …, W K , …, Wr) ,其中列向量 W K为输出层第 k 个神经元对应的权向量。它们之间的关系为:其中传递函数一般为（0，1）S型函数以上算式(1)～(5)为三层前馈网的数学模型。BP学习算法的权值调整计算公式为:其中η∈(0 ,1) ,表示学习率。训练过程不断调整权值和阈值，使得神经网络的表现函数达到最小。前馈型神经网络表现函数默认为网络输出向量与期望输出向量的均方差。BP神经网络的发展现状将BP算法用于具有非线性转移函数的三层前馈网络,可以以任意精度逼近任何非线性函数 ,这一非凡优势使三层前馈网络得到越来越广泛的应用。然而标准的 BP 算法在应用中暴露出不少内在的缺陷。BP网络的局限性1)收敛速度慢；为保证算法的收敛性，学习率q必须小于一个上限。这就决定了BP算法的收敛速度不可能较快，并且越是接近极小值处，由于梯度变化值逐渐趋于零，算法的收敛速度就越慢；2)所得的网络容错能力差；3)算法不完备，易陷入局部极小。不能保证收敛到全局最小点。实际问题的求解空间往往是极其复杂的多维曲面，存在着很多局部