修改李雅普诺夫稳定性在BP神经网络收敛性的应用..ppt

论文心得 这篇文章除了有一些文本上的编辑错误外，它的整体结构有点单薄、内容也不是特别丰富，并且对知识点的铺垫工作做得不足、文章可读性差。对于没有掌握人工神经网络算法和李雅普诺夫稳定性原理的读者来说，看这篇文章是有点难度的；但它主要给我们提供了一种思想，就是学科交叉的思想，也是在启发我们如何学习一门课程。学习任何一个学科不是看你阅读了多少文献、掌握多少定理、定义、公式推导，而是在于是否掌握了这门学科的思想，学会它的思维方式，并能用它的思想和思维方式来指导今后的学习和工程实践，不要将思维方式局限于本学科，要学会融会贯通，并可以把它渗透到其他学科中，就像很多伟大的科学家都是用哲学思想来指 论文心得 导他的科学研究的，这也是我们学习的一个目的。 正如本文作者看到了BP神经网络是用来逼近非线性函数的，而李雅普诺夫定理是解决非线性系统的稳定性的，正是基于这一点点联系作者便将李雅普诺夫定理应用到BP神经网络收敛性的证明中，虽然没有特别新颖的创新，但能却为我们将来的论文发表和研究提供了一点新的思路。 Thank you * 基于李雅普诺夫函数的BP神经网络算法的收敛性分析 论文信息 文章来源：小型微型计算机系统学报 时 间：2005年1月，第25卷 第1期 作 者：张茂元、卢正鼎 作者单位：华中科技大学计算机科学与技术学院 论文结构 1.引 言 2.BP神经网络的概述 3.利用李雅普诺夫函数分析BP神经网络的收敛性 4.应 用 5.结束语 一 引 言 引 言 本文针对前馈神经网络的自学习机制，采用李雅普诺夫函数来分析权值的收敛性，从而揭示BP神经网络算法朝最小误差方向调整权值的内在因素，并在分析单参数BP算法收敛性基础上，提出单参数变调整法则的离散型BP神经网络算法。 李雅普诺夫函数方法的特点是不用求解系统的动态方程或分析参数特征根的实部的正负特性，直接利用状态点处的广义能量函数来判别系统的稳定性。 人工神经网络是模拟大脑神经系统的学习机理的一种智能算法，是智能信息处理系统的关键之一，这里主要探讨基于时变输入前馈神经网络的BP 学习算法收敛性，进而分析单参数BP神经网络算法 引 言 的收敛性。 李雅普诺夫函数方法应用于神经网络的稳定分析，可用推导条件来保证权值的收敛性，这里将可以看到基于BP的学习算法具有收敛局部最小值的内在特性。假如权值的初始值处于全局最小值或权值的分布有利于权值收敛于全局最小值，那么BP学习机制将使权值收敛到全局最小值。 二 BP神经网络概述 BP神经网络概述 人工神经网络是在人类对其大脑神经网络认识的基础上，人工构造的能够实现非线性数学建模的网络系统。 既然是模仿大脑神经网络就要像大脑一样拥有神经元，在数学建模中我们用如右图所示的人工神经元示意图来模拟单个的人脑神经元。模拟人脑神经网络则是由多个人工神经元连接而成的网络，它是一个多输入、单输出的非线性组件。 BP神经网络概述 上图输入输出的关系式可以表示为： 式中，Xi是从其他神经元传来的输入信号，或是来自外部的信息；Wi表示从神经元i到本神经元的连接权值，表示神经元的连接强度，由神经元的学习过程确定；Wi0为神经元的门限值；f(.)为激励函数，一般为非线性函数。 BP神经网络概述 为了使人工神经网络能够解决复杂的非线性问题，可以利用人工神经元来模仿人类脑神经系统的网络结构，用人工神经元可以构成各种不同拓扑结构的神经网络，从而使其具有分布式的信息存储方式和并行计算能力，实现任意非线性问题的数学建模。目前就人工神经网络的连接形式而言，已有数十种不同的连接方式，其中前馈型和反馈型是典型的两种结构。 BP神经网络概述 误差反向传播网络（Error Bcak-Propagation Network，BP网络） 是最典型的前馈型神经网络。 那么，BP网络如何逼近一个非线性函数？ 对于BP神经网络算法它是有学习、有训练过程的。任何一种算法给定时它的输入值、阈值、激励函数都随之确定了；当给定一个要逼近的非线性函数时，我们的输出期望也就已知了；这时只有W值是未知的，我们是通过不断的训练、迭代过程来精确W值，不断的逼近W的真实值。 因此，对非线性函数的逼近就是一个求解权 BP神经网络概述 值W的过程。这就要求W是收敛的，而整过逼近过程是一个非线性过程，所以，可以用李雅普诺夫稳定性来分析BP算法的收敛性。 三 利用李雅普诺夫函数分析BP神经网络的