BP神经网络(my)讲义.ppt

3.6 应用举例 求解函数逼近问题 有21组单输入矢量和相对应的目标矢量，试设计神经网络来实现这对数组的函数关系 P=-1:0.1:1 T=[-0.96 0.577 -0.0729 0.377 0.641 0.66 0.461 0.1336 … -0.201 -0.434 -0.5 -0.393 -0.1647 0.0988 0.3072 … 0.396 0.3449 0.1816 -0.0312 -0.2183 -0.3201] 测试集 P2=-1:0.025:1 3.6 应用举例 目标矢量相对于输入矢量的图形 初始网络的输出曲线 3.6 应用举例 训练1000次 2000次 3.6 应用举例 训练3000次 5000次 BP神经网络 神经网络的应用进展： ①模式分类：将一个n维的特征向量映射为一个标量或向量的分类标签。分类问题的关键在于寻找恰当的分类面，将不同类别的样本区分开。现实中的分类问题一般比较复杂，样本空间中相距较近的样本也可能分属不同的类别。神经网络良好的非线性性能可能很好地刻画非线性分类画面，带来更好的模式识别能力。 ②聚类:聚类不需要提供已知样本，而是完全根据给定的样本工作。只需给定聚类的类别数n，网络自动按样本间的相似性将输入样本分为n类。 ③回归和拟合：相似的样本在神经网络的映射下，往往能得到相近的输出。因此，神经网络对于函数拟合问题具有不错的解决能力。 ④优化计算:已知约束条件，寻找一组参数组合，使由该组合确定的目标函数达到最小值。BP网络和其他部分网络的训练过程就是调整权值是输出误差最小化的过程。 ⑤数据压缩：神经网络将特定只是存储于网络权值中，相当于将原有的样本用更小的数据量进行表示，这实际上是一个压缩的过程。 2.BP神经网络的基本思想与原理 BP算法的出现 非循环多级网络的训练算法 UCSD PDP小组的Rumelhart、Hinton和Williams1986年独立地给出了BP算法清楚而简单的描述 1982年，Paker就完成了相似的工作 1974年，Werbos已提出了该方法 概述 BP网络主要用于： 1、函数逼近：用输入向量和相应的输出向量训练一个网络逼近一个函数。 2、模式识别：用一个特定的输出向量将它与输入向量联系起来。 3、分类：把输入向量 以所定义的合适方式进行分类。 4、数据压缩：减少输出向量维数以便于传输或存储。 2.1 BP神经网络 BP (Back Propagation)神经网络，即误差反向传播算法的学习过程，由信息的正向传播和误差的反向传播两个过程组成。输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。当实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止。 2.1.1 BP神经网络模型 BP网络结构，如图： x1 o1 输出层 隐藏层 输入层 x2 o2 om xn … … … … … … … 1、网络的构成 神经元的网络输入： neti=x1w1i+x2w2i+…+xnwni 神经元的输出： 2、输出函数分析： ? 1 （0,0.5） ?net （0,0） o ??0.5 f ′(net) 0.25 o 0 1 因此应该将net的值尽量控制在收敛比较快的范围内 可以用其它的函数作为激活函数，只要该函数是处处可导的 2.1.2 BP学习算法 基本思想： 学习过程由信号的正向传播与误差的反向传播连个过程组成。正向传播时，输入样本从输入层传入，经各隐含层处理后，传向输出层。若输出层的实际输出与期望的输出（教师信号）不服，则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号作为修正各单元权值的依据。 这种信号正向传播与误差反向传播的各层权值调整过程