人工智能--第3章-人工神经元网络控制论-网络模型.ppt

*/102 稳定性 引入一个能量函数E： 定理3-3：若f-1 为单调递增且连续， ,则沿系统轨道有： 且当且仅当 时， */102 证明 因为 且当 时， */102 5. 优化问题的应用：TSP问题 旅行商最优路径问题(Travelling Salesman Problem, 简称TSP) */102 能量函数 设计如下能量函数： 式中 A、B、C、D均为正常数。 第一项表示当且仅当每一城市行只包含一个“1” 时取极小值0； 第二项表示当且仅当每一旅行位置只包含一个“1” 时取极小值0； 第三项表示当且仅当置换矩阵中“1” 之和为n时取极小值0； 第四项表示路径长度信息，它随着路径长度的减小而减小。 */102 化作标准型 f呈硬限幅特性 ，则有 其中 */102 网络模型 */102 算例 A=B=D=500， C=200， RakCak=1, O0=0.02 微分方程的初值选为： Oak=O00+δOak 其中： O00为常数项，满足在t=0时， 以利于收敛； δOak是扰动项，其取值范围为： -0.1O0≤??Oak≤0.1O0 */102 优化结果 */102 3.3.3 回归（Recurrent）神经网络 与Hopfield神经网络非常相似。 保留了部分前向传播网络的特性又具备部分Hopfield网络的动态联想记忆能力。 Pineda在1987年首先将传统的BP学习算法引入到回归神经网络中来，并提出回归反向传播算法。 */102 离散型回归神经网络(DTRNN) 神经元模型： 其中： N是神经网络的输出节点数， M是输入矢量X的维数 */102 网络结构 */102 学习方法1 展成多层前向网络 */102 学习方法2 迭代学习算法 梯度下降法实现 */102 流程 权系数矩阵W初始化,置k=1; 取下一组训练样本集，置 所有状态为零，所有 迭代： * */102 共轭矢量的递推求取 定义第一个矢量d1为初始点的负梯度矢量，即 d1=-g1。 根据gTk+1dk=0 （线性无关），可得 dk+1=-gk+1+βkdk ? βk=gk+1HdkT/(dkHdkT) 注意到 (gk+1-gk)T=H(Wk+1-Wk)T=αkHdkT 所以 βk=gk+1(gk+1-gk)T/[ dk (gk+1-gk)T] αk 可通过一维步长最优搜索得到 */102 3.1　 引言 3.2　 前向神经网络模型 3.6 神经网络控制基础 3.7　 非线性动态系统的神经网络辨识 3.8　 神经网络控制的学习机制 3.9 　神经网络控制器的设计 3.3　 动态神经网络模型 3.10 单一神经元控制法 目录 */102 3.3 动态神经网络模型 动态神经网络 带时滞的多层感知器网络 Hopfield网络 回归神经网络 */102 3.3.1 带时滞的多层感知器网络 有两种实现： 无输出反馈 有输出反馈 */102 带时滞的多层感知器网络1 图3-20 时滞神经网络结构 */102 带时滞的多层感知器网络2 图3-21 带反馈时滞神经网络结构 */102 3.3.2 Hopfield神经网络 具有相互连接的反馈型神经网络模型 将其定义的“能量函数”概念引入到神经网络研究中，给出了网络的稳定性判据。 用模拟电子线路实现了所提出的模型，并成功地用神经网络方法实现了4位A/D转换。 */102 类型 1 2 */102 1. 二值型的Hopfield网络 全连接单层网络 神经元模型 yi取值通常为 0和1或-1和1 */102 例3-4：状态转移关系 假设一个3节点的离散Hopfield神经网络，已知网络权值与阈值如图3-23(a)所示。 采取随机异步更新策略，求计算状态转移关系。 */102 状态转移图 */102 动力学特征：能量井 能量函数 能量井 ：能量极小状态（与网络的稳定状态一一对应） 用途：联想记忆、优化 */102 能量井设计 能量井的分布是由连接权值决定的。 一是根据求解问题的要求直接计算出所需要的连接权值。这种方法为静态产生方法，一旦权值确定下来就不再改变； 二是通过提供一种学习机制来训练网络，使其能够自动调整连接权值，产生期望的能量井。这种方法为动态产生方法。 */102 （1）权值的静态设计方法：例3-6 如下图3节点DHNN模型为例要求设计的能量井为状态y1y2y3=010和111。权值和阈值