第4章 Hopfield神经网络-2016.ppt

状态的演化为： 可见网络稳定在模式Ul。 4.4.3 Hopfield联想记忆网络运行步骤 第一步：设定记忆模式。将欲存储的模式进行编码，得到取值为1和-1的记忆模式（mn）: 第二步：设计网络的权值。 其中 一旦计算完毕，将保持不变； 联想记忆网络运行步骤（续） 第三步：初始化网络状态。将欲识别模式 设为网络状态的初始状态，即： ，是网络中任意神经元i在t=0时刻的状态； 第四步：迭代收敛。随机地更新某一神经元的状态 反复迭代直至网络中所有神经元的状态不变为止； 第五步：网络输出。这时的网络状态（稳定状态），即为网络的输出y=vi (T)。 几点说明 ： 以上所介绍的Hopfield联想记忆网络的激励函数为符号函数，即神经元的状态取1和-1的情况。对于联想记忆网络的激励函数为阶跃函数，即神经元的状态取1和0时，相应的公式有所变化。 Hopfield联想记忆网络的记忆容量就是在一定的联想出错概率容限下，网络中存储互不干扰样本的最大数目。记忆容量α反映所记忆的模式m和神经元的数目N之间的关系：α= m/N。记忆m个模式所需的神经元数N= m/α，联接权值数目为（m/α）2，若α增加一倍，联接权值数目降为原来的1/4，这是一对矛盾。在技术实现上也是很困难的。实验和理论研究表明Hopfield联想记忆网络记忆容量的上限为0.15N。 Hopfield AM网络存在伪状态（Spurious States），伪状态是指除记忆状态之外网络多余的稳定状态。 要构成一个对所有输入模式都很合适的Hopfield联想记忆网络需要满足的条件是很苛刻的。所记忆的模式m过大，权值矩阵W中会存在若干个相同的特征值；所记忆的模式m小于神经元的数目N，权值矩阵W中会存在若干个0，构成所谓的零空间。零空间存在于网络中，零空间是Hopfield网络的一个固有特性。 Hopfield联想记忆网络不可避免地存在着伪状态。 4.4.4 联想记忆的改进 联想记忆网络的基本要求，就是： （1）联想记忆网络须具有较大的记忆容量； （2）网络联想记忆须具有一定的容错性，即 吸引子要有一定的吸引域； （3）是技术可实现的。 三者是一个统一的整体，而容错性则是其核心，没有容错性就谈不上联想，容错性的优劣是由各吸引子吸引域的大小与形状所决定的。 为此可从系统的三个方面考虑： (1) 调节系统的动力学特性，但为了利用系统的并行性，同步动力学是必要的； (2) 改变网络权值矩阵的设计或学习算法，如：除采用外积法外还可考虑采用投影学习法、伪逆法或特征结构法等等。这些方法都是人为设定的，因有较好的性能而常被采用。 (3) 修改神经元的激励函数。对于激励函数常用的是符号函数，也可采用连续单调函数作为激励函数，即采用连续的Hopfield网络，连续型Hopfield网络对于高维系统建立的是高阶非线性微分方程，这是非常难以模拟和实现的。而取二值或多值的离散型Hopfield网络，通过合适长度的二进制编码，可以任意精度表示任意实数，而且所占用的存储空间较小。 4.5 最优化计算 4.4.1Hopfield与最优化计算 4.4.2Hopfield最优化计算实例 4.4.1 Hopfield与最优化计算 组合优化就是在给定约束条件下，求出使目标函数极小（或极大）的变量组合问题。 Hopfield神经网络在对于解决组合优化问题也有许多用途。 将Hopfield神经网络应用于求解组合优化问题，就是把目标函数转化为网络的能量函数，把问题的变量对应于网络的状态，当网络的能量函数收敛于极小值时，网络的状态就对应于问题的最优解。 4.4.2Hopfield最优化计算实例 Hopfield求解TSP (Traveling Salseman Problem). 其命题与问题如下： 命题：假定有n个城市它们之间的相互距离分别为： 问题是寻找一条闭合路经，此路径历经每个城市且仅经过一次，返回起始城市。要求此路径长度最短。 对于n个城市的TSP问题，存在n个输出状态，然而一个旅行只是描述一条访问城市的路线， 访问n个城市有2n条路线长度是相等的，