文档详情

人工神经网络及其应用5讲Hopfield网络.ppt

发布:2017-03-22约7.29千字共58页下载文档
文本预览下载声明
人工神经网络及其应用 第5讲 Hopfield网络 何建华 电信系,华中科技大学 2003年3月3日 内容安排 一、反馈网络 二、Hopfield网络简介 三、DHNN网络 四、稳定性与应用 五、内容小结 要点 反馈网络如何通过网络神经元状态的变迁而最终稳定于平衡状态,得到联想存储或优化计算的结果 关心网络的稳定性问题 研究重点为怎样得到和利用稳定的反馈网络 一、反馈网络 1.1 反馈网络简介 反馈网络(Recurrent Network),又称自联想记忆网络 其目的是为了设计一个网络,储存一组平衡点,使得当给网络一组初始值时,网络通过自行运行而最终收敛到这个设计的平衡点上。 反馈网络能表现出非线性动力学系统动态特性 网络系统具有若干个稳定状态。当网络从某一初始状态开始运动,网络系统总可以收敛到某一个稳定的平衡状态; 系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中 1.1 反馈网络简介 反馈网络分类 如果激活函数f(·)是一个二值型的硬函数,即ai=sgn(ni),i=l, 2, … r,则称此网络为离散型反馈网络; 如果f(·)为一个连续单调上升的有界函数,这类网络被称为连续型反馈网络 1.2 网络稳定性 状态轨迹 设状态矢量N=[n1, n2, …,nr],网络的输出矢量为A=[a1,a2…,as]T 在一个r维状态空间上,可以用一条轨迹来描述状态变化情况 从初始值N(t0)出发,N(t0+Δt)→N(t0+2Δt)→…→N(t0+mΔt),这些在空间上的点组成的确定轨迹,是演化过程中所有可能状态的集合,我们称这个状态空间为相空间 1.2 网络稳定性 状态轨迹 离散与连续轨迹 1.2 网络稳定性 状态轨迹分类:对于不同的连接权值wij和输入Pj(i, j=1, 2, … r),反馈网络可能出现不同性质的状态轨迹 轨迹为稳定点 轨迹为极限环 轨迹为混沌现象 轨迹发散 1.2 网络稳定性 稳定轨迹 状态轨迹从系统在t0时状态的初值N(t0)开始,经过一定的时间t(t>0)后,到达N(t0+t)。如果N(t0+t+Δt)=N(t0+t),Δt>0,则状态N(t0+t)称为网络的稳定点,或平衡点 反馈网络从任一初始态P(0)开始运动,若存在某一有限时刻t,从t以后的网络状态不再发生变化(P(t+Δt)= P(t),Δt>0)则称网络是稳定的 处于稳定时的网络状态叫做稳定状态,又称为定吸引子 1.2 网络稳定性 稳定点分类 在一个反馈网络中,存在很多稳定点 稳定点收敛域 渐近稳定点:在稳定点Ne周围的N(σ)区域内,从任一个初始状态N(t0)出发,当t→∞时都收敛于Ne,则称Ne为渐近稳定点 不稳定平衡点Nen:在某些特定的轨迹演化过程中,网络能够到达稳定点Nen,但对其它方向上任意小的区域N(σ),不管N(σ)取多么小,其轨迹在时间t以后总是偏离Nen; 期望解 网络的解:如果网络最后稳定到设计人员期望的稳定点,且该稳定点又是渐近稳定点,那么这个点称为网络的解; 网络的伪稳定点:网络最终稳定到一个渐近稳定点上,但这个稳定点不是网络设计所要求的解 1.2 网络稳定性 状态轨迹为极限环 在某些参数的情况下,状态N(t)的轨迹是一个圆,或一个环 状态N(t)沿着环重复旋转,永不停止,此时的输出A(t)也出现周期变化(即出现振荡) 如果在r种状态下循环变化,称其极限环为r 对于离散反馈网络,轨迹变化可能在两种状态下来回跳动,其极限环为2 1.2 网络稳定性 状态轨迹为混沌 如果状态N(t)的轨迹在某个确定的范围内运动,但既不重复,又不能停下来 状态变化为无穷多个,而轨迹也不能发散到无穷远,这种现象称为混沌(chaos) 出现混沌的情况下,系统输出变化为无穷多个,并且随时间推移不能趋向稳定,但又不发散 1.2 网络稳定性 状态轨迹发散 状态N(t)的轨迹随时间一直延伸到无穷远。此时状态发散,系统的输出也发散 在人工神经网络中,由于输入、输出激活函数上一个有界函数,虽然状态N(t)是发散的,但其输出A(t)还是稳定的,而A(t)的稳定反过来又限制了状态的发散。 一般非线性人工神经网络中发散现象是不会发生的,除非神经元的输入输出激活函数是线性的 1.3 网络工作方式 目前的反馈神经网络是利用稳定的特定轨迹来解决某些问题 如果视系统的稳定点为一个记忆,则从初始状态朝此稳定点移动的过程即为寻找该记忆的过程 状态的初始值可以认为是给定的有关该记忆的部分信息,状态N(t)移动的过程,是从部分信息去寻找全部信息,这就是联想记忆的过程 将系统的稳定点考虑为一个能量函数的极小点。在状态空间中,从初始状态N(t0)=N(t0+t),最后到达N*。若N*为稳定点,则可以看作是N*把N(t0)吸引了过去,在N(t0)时能量比较大,
显示全部
相似文档