第3章神经网络控制-网络结构2.pdf

3.2.2.3 多层前向网络的基本BP学习算法 （也称传统的BP算法，或标准误差反向传播算法，或增量型学习，或在线学习）  BP算法概述  1986年，Rumelhart和McCelland领导的科学 小组在 《Parallel Distributed Processing》一 书中，对具有非线性激励函数的多层前向网络的 误差反向传播(Error Back Propagation ，简称 BP)算法(也称为广义学习算法)进行了详细的分析、研 究，激起了人们研究神经网络的新高潮。  BP算法的基本思想是非线性最小二乘法，它应用 梯度搜索技术，以期使网络的实际输出值与期望 值的误差均方值为最小。 76  学习过程由信号的正向传播和误差的反向传播两 个过程组成。正向传播时，输入样本从输入层传 入，经各隐层传至输出层，若输出层的实际输出 与期望输出不符，则转入误差的反向传播阶段。 误差反传是将输出误差以适当形式通过隐层向输 入层逐层反传，并将误差分摊给各层的所有单元， 各层单元获得的误差信号即作为修正各单元权值 的依据。这种信号正向传播与误差反向传播的过 程，是权值周而复始、不断调整的过程，也就是 网络的学习训练过程。此过程一直持续到网络的 输出误差减少到可接受的程度，或进行到预先设 定的学习次数为止。 2  BP网络是一种最为常用的前馈网络，主要应用有 a) 模式识别与分类：语言、文字、图像的识别， 医学特征的分类和诊断等； b) 函数逼近：非线性控制系统的建模、机器人的 轨迹控制及其他工业控制等； c) 数据压缩：编码压缩和恢复、图像数据的压缩 和存储以及图像特征的提取等； d) 最优预测； e) 自适应控制等。 3  基本BP算法的学习方式(训练流程) (单样本训练方式) ① 对给定的样本集{( , ), ( = 1,⋯,)} (输入输 出矢量对) ，按周期训练，训练过程中样本按顺序 依次输入，每输入一个样本，沿着使 降低的 负梯度方向更新一次权值，直到个样本全部训 练完毕； ② 进入下一周期，重复第①步，即：对样本集中的 全部数据依次有序地进行第二遍训练，并相应更 新权值； ③ 依此类推，直到全部样本数据的总误差性能指标 满足要求。 4  基本BP算法的理论基础 () () 1 1 2 2