第三讲(2与)人工神经网络(BP算法) .ppt

4．求各层的学习误差dik对于输出层有： 5．修正权系数Wij和阀值θ else If k=m 4.2 BP网的学习算法 二、BP算法原理 （四）BP算法的执行步骤 Xik=f(Uik) 6．根据误差标准判别是否满足要求。如果满足要求，则算法结束；如果未满足要求，则返回(3)执行。 这个学习过程，对于任一给定的样本Xp＝(Xp1，Xp2，…Xpn，1)和期望输出Yp=(Yp1，Yp2，…，Ypn)都要执行，直到满足所有输入输出要求为止。 4.2 BP网的学习算法 二、BP算法原理 （四）BP算法的执行步骤 一个BP学习周期 （a) 前向传播，产生输出模式 (b) 计算输出层?值，更新权值W[2] (c) 误差向后传播 一个BP学习周期 (d) 更新权矩阵W [1] (0, 0) (1, 0) (1, 1) (0, 1) × × x1 x2 L1 L2 L3 L4 XOR样本空间分布 异或求解网络 BP算法原理 前向传播 后向传播 BP算法原理 前向传播 后向传播 (1)学习算法收敛速度慢。一个相当简单的问题求解，其训练次数要几百或几千次迭代； (2)局部极小问题。从数学角度看，BP学习过程是一个非线性优化过程，所在不可避免地会遇到优化过程中最常见的局部极小问题，使学习结果令人不满意； (3)网络的隐层单元个数尚无理论上的指导，而是根据经验选取； (4)BP网络是一个前向网络，具有非线性映射能力，但它并不是一个非线性动力学系统，功能上有其局限性。 4.2 BP网的学习算法 二、BP算法原理 （五）BP模型存在的问题 Local minimum Global minimum Error 4.2 BP网的学习算法 二、BP算法原理 （五）BP模型存在的问题 局部极小问题 Overfitted Real Distribution Over-fitting/over-training problem: trained net fits the training samples perfectly (E reduced to 0) but it does not give accurate outputs for inputs not in the training set Over-fitting(over-training) 4.2 BP网的学习算法 二、BP算法原理 （六）几个问题 收敛速度问题 局部极小点问题 网络瘫痪问题 ：训练中当训练步长会变得非常小，将导致训练速度降得非常低，最终导致网络停止收敛 稳定性问题 步长问题 BP网络的收敛是基于无穷小的权修改量 步长太小，收敛就非常慢 步长太大，可能会导致网络的瘫痪和不稳定 自适应步长，使得权修改量能随着网络的训练而不断变化。 第4节 BP网络 第三讲 人工神经网络 BP—BackPropagation(反向传播） Linearly Supervise Feedforward The location of perceptron Virtues of Perceptrons Easy to learn and use More input-output pair to use Limitations of Perceptrons Single-layer perceptrons can not solve problems that are linearly inseparable (e.g., XOR) Most interesting problems are linearly inseparable Need longer learn time 第4节 BP网络 概述 基本BP算法 算法的改进 算法的实现 算法的理论基础 几个问题的讨论 1。BP算法的出现 UCSD PDP小组的Rumelhart、Hinton和Williams1986年独立地给出了BP算法清楚而简单的描述 1982年，Paker就完成了相似的工作 1974年，Werbos已提出了该方法 2。弱点：训练速度非常慢、局部极小点的逃离问题、算法不一定收敛。 3。优点：广泛的适应性和有效性。 4.1 概述 一、简介 BP算法即反向传播算法，有时也称为BP模型； BP算法是为了解决多层前向神经网络的权系数优化而提出来的，通常暗示着神经网络的拓扑结构是一种无反馈的多层前向网络; 算法可以对网络中各层的权系数进行修正，故适用于多层网络的学习; BP算法是目前最广泛用的神经网络学习算法之一，在自动控制中是最有用的学习算法。 4.1 概述 一、简介 x1 o1 输出层 隐藏层 输入层 x2 o2 om xn … … … … … … … W(1) W(2) W(3)