华南理工大学最优化理论——第十一章Hopfield神经网络优化方法资料.ppt

Hopfield神经网络优化方法 * Hebb学习规则 给定M个待存储模式，按Hebb学习规则，Hopfield网络有如下学习过程： （10-11） 按上述规则求出权矩阵后，可以认为网络已经将这M个模式存入网络的连接权中。 在联想过程中，与求解优化问题一样，先给出一个原始模式m0，使网络处于某种初始状态下，用网络方程动态运行，最后达到一个稳定状态。如果此稳定状态对应于网络已存贮的M个模式中的某个模式mk，则称模式mk是由模式m0联想起来的 。 Hopfield神经网络优化方法 * 联想记忆 例10-2 对于一个4神经元的网络，取阈值为0。给定两个模式存储于网络中。试确定网络的权值矩阵W。 m1= m0= Hopfield神经网络优化方法 * 联想记忆 解： 可据式（10-11）构造出权值矩阵W如下： 给出用于联想的原始模式： ma= 则得到稳定状态v= 而这个稳定状态正好是网络已记忆的模式m1，由此可以认为m1是由模式ma联想起来的。 Hopfield神经网络优化方法 * 联想记忆 例10-3 给出下面三个存储模式，试确定网络的权值矩阵W，并讨论其联想记忆特点。 解：根据式（10-11）构造出权值矩阵W： Hopfield神经网络优化方法 * 对于本例，给出模式m3，但网络运行稳定在m2，而非其自身模式m3。 Hopfield网络用于记忆联想要受其记忆容量和样本差异制约： 若记忆模式较少，同时模式之间的差异较大，则联想的结果就比较正确；而当需记忆的模式较多时，网络到达的稳定状态往往不是己记忆的模式，亦即容易引起混淆； 再者，当模式间差异较小时，网络可能无法辨别出正确的模式，此时即便采用已记忆的模式作为联想模式（自联想），也仍可能出错，如本例所示。 注意：本例m1和m2是该网络的两个稳定状态。可验证，对于该网络的其余6个网络状态中的任何一个，都可在一次运行后收敛于这两个状态中的一个。 解毕。 Hopfield神经网络优化方法 * 10.2.3 连续型Hopfield网络 将离散的Hopfield神经网络模型扩展到连续时间的动力学模型，其网络的连接方式不变，仍然是全互连对称结构，特性函数f(?)选用Sigmoid函数，使神经元的输出取连续值。连续的Hopfield网络可与一电子线路对应，如图10-10所示。 Hopfield神经网络优化方法 * 10.2.3 连续型Hopfield网络 图10-11表示由运算放大器实现的一个节点的模型。 对于该模型，其电路方程可写为： （10-12） Hopfield神经网络优化方法 * 式中， 为系统的外部激励。经过整理，得： （10-13） 式中， 令 ，有： Hopfield神经网络优化方法 * 定义10.2 对式（10-14）的连续Hopfield网络，其能量函数E(t)为 （10-15） 证明式（10-15）表示的能量函数满足李雅普诺夫函数的前两个条件是很容易的事。 第三个条件的满足则可用式（10-15）推导得到。从式（10-15）不难看出： 连续Hopfield网络收敛性 （10-16） 于是， 为Sigmoid函数时，其逆函数 为非减函数，即 当 Hopfield神经网络优化方法 * （10-18） 故 。 注意，式（10-15）的最后一项在Sigmoid函数值高增益下由于接近限 幅器而可以忽略不计。 Hopfield神经网络优化方法 * 定理10.2 对于连续Hopfield网络，如果f- -1(?)为单调递增的连续函数，Ci0，wij= wji，则沿系统运动轨道有 （10-19） 当且仅当 时， ，(i=1,2,…,n) 由定理10.2可知，连续Hopfield网络随时间推移其能量函数总是在不断地减少。网络的平衡点就是E(t)的极小值点。 Hopfield神经网络优化方法 * 连续Hopfield网络的工作方式有如下结论： 系统过程从任意非平衡状态出发，最终收敛于平衡状态，平衡点有限。如果平衡点是稳定的，那么一定是渐近稳定的。渐近稳定平衡点为其能量函数的极小点； 通过适当的学习，该网络能将任意一级正交矢量存储起来作为渐近稳定平衡点； 连续Hopfield网络的信息存储表现为神经元之间互连的分布动态存储； 连续Hopfield网络以大规模非线性连续时间并行方式处理信息，其计算时间就是系统趋于平衡点的时间。 Hopfield神经网络优化方法 * 连续Hopfield网络神经网络迭代过程的框图 初始化 在每个周期（扫描）重复下列步骤： 是否到达稳定状态 ①随机抽取一个在此周期中尚未更新的神经元。 ③ vi+=sgm( ui+)。 停止 否 是 ②