神经网络讲义(第三章).ppt

神经网络辨识 1、引言 2、NNI的一般结构 3、基于BP网络的辨识 4、基于Hopfield网络的辨识 5、逆动力学系统的建模 引言 1、定义 2、几个基本问题 3、NNI的原理 4、NNI的理论依据 5、NNI的优点 定义 1、辨识就是在输入输出数据的基础上，从一组给定 的模型中确定一个与所测系统等价的模型 L.A.Zadeh 2、辨识的三要素：I/O数据、系统结构模型、等价 准则 基本问题 1、模型的选择 原则：兼顾复杂性和精确性 NNI：网络隐节点个数选择由仿真确定 2、输入信号选择 对动态系统而言，输入信号要充分激励，（基本要求）进一步，最优输入信号设计 NNI：噪声或伪随机信号 3、误差准则的确定 误差准则的确定 1、误差的三种形式 2、例：s的差分方程 准则 L为学习序列长度， 为数值。 NNI： NNI：实质为最优化问题 NNI原理 1、线性模型 2、对非线性系统无统一数学模型描述现用NN逼近， 给出基于输出误差的NNI 3、NNI原理：在学习系统的I/O数据，建立系统的辨 格式，使误差准则最小，从中得出隐含的I/O关系。 NNI的理论依据 定理：具有任意数目隐单元的三层前续网络可改 逼近平方可积分函数 NNI的优点 1、无需建立实际系统的辨识格式，可省去系统结 构建模这一步，可调参数为NN的权值。 2、可对本质非线性系统进行辨识，在网络外部含 系统I/O特征，非算法式的。 3、辨识算法不依赖于辨识系统的维数，仅与NN本 身和学习算法有关。 4、NN为实际系统的物理实现，可用于在线控制。 NNI的一般结构 1、引言 2、Narendra的一般化网络 3、对象的NL model描述 引言 1、NN：多层前馈网络（BP等）可实现任意NL静态 映射；反馈网络（Hopfield）有动态环节，不可去映 射NN。 2、问题：希望构造新网络，保持2者优点，可映射 任意NL动态网络。 3、解决：将Hopfield网络形式由单层变多层。 Narendra的一般化网络 1、结构 2、学习算法 3、讨论： 1）目前系统仅用model a、b、c即可表示。 2）辨识时w(z)已知，不符合实际情况。 3）动态BP比静态BP复杂的多，实际使用时可能用静态BP。 学习算法 问题：多层前馈网络BP算法 动态时：How do? 静：仅与误差分布有关 动：寻找出反映动态过程的关系式 1、一般思路 2、具体输入层 一般思路 PI： 方法：梯度法 Keynote：计算 具体输入层 1、Model a 2、Model b 3、Model c 4、Model d a 用静态反馈法计算，经过 动态环节 作用到 b 用静态反馈法 可用model a中方法计算，利用 BP得到 c 求出后代入上式得 之线性化方程（动态系统求解问题） d 用model c方法求解 对象NL model描述 1、状态方程 2、NL model的四种形式 3、得出的四种辨识结构 状态方程 系统为具有未知参数的线性对象时，系统可控且可观，有串联、并联两种形式 四种形式 辨识结构 基于BP网络的辨识 1、考虑SISO问题 2、NN的学习算法 3、例 考虑SISO问题 设 NN结构为3层，各层神经元的选择： 输入层：设n、m分别为y(t)、u(t)之阶次则 隐层H： 输出层O： 输出向量组成： NN的输入输出关系 1、各层的输入输出关系 2、权系数修改法则 3、算法步骤（仿真时） 各层输入输出关系 性能指标： 权系数修改法则 算法步骤 初始化权值 选择 之一 计算 由 形成 计算 按以上算法修正加权系数 将 移位，转第二步 仿真例 1、例1 2、例2 3、例3 1 在闭环情况下进行辨识，即u(t)按某种形式取为控制输出， 在20秒后即良好跟踪y(t) 2 3 基于Hopfield网络的辨识 1、系统 2、NN为Hopfield网络时 系统： 用Hopfield网络来模拟系统，使在所有状态下平方误差最小。 式中 NN为Hopfield网络时 在R充分大时，可忽略 项 后一项不为0时 在X(t),u(t)