bp神经网络分类.pptx

利用BP神经网络解决分类问题;1.1 BP网络介绍 1.2 BP网络模型 1.3 学习规划 1.4 网络程序设计 ;人工神经网络（Artificial Neural Networks，ANN）系统是?20?世纪?40?年代后出现的。它是由众多的神经元可调的连接权值连接而成，具有大规模并行处理、分布式信息存储、良好的自组织自学习能力等特点。 BP（Back Propagation）算法又称为误差反向传播算法，是人工神经网络中的一种监督式的学习算法。 BP神经网络算法基本的结构由非线性变化单元组成，具有很强的非线性映射能力。而且网络的中间层数、各层的处理单元数及网络的学习系数等参数可根据具体情况设定，灵活性很大，在优化、信号处理与模式识别、智能控制、故障诊断等许多领域都有着广泛的应用前景。;在人工神经网络的实际应用中，BP网络广泛应用于函数逼近、模式识别/分类、数据压缩等，80%~90%的人工神经网络模型是采用BP网络或它的变化形式。 BP网络也是前馈型神经网络的核心部分，体现了人工神经网络最精华的部分。 主要思想是从后向前（反向）逐层传播输出层的误差，以间接计算出隐层误差。故称为误差反向传播算法;BP算法分为两个部分： 第一部分（正向传播过程）输入信息从输入层经隐层逐层计算各单元的输出值 第二部分（反向传播过程）输出 误差逐层向前计算出隐层各单元 的误差，并用此误差修正前层权 值，最终使误差减小到可接受的 范围。具体步骤如下： ; 1.从训练集中取出某一样本，把信息输入网络中。 2.通过各节点间的连接情况正向逐层处理后，得到神经网络的实际输出。 3.计算网络实际输出与期望输出的误差。 4.将误差逐层反向回传至之前各层，并按一定原则将误差信号加载到连接权值上，使整个神经网络的连接权值向误差减小的方向转化。 5、对训练集中每一个输入—输出样本对重复以上步骤，直到整个训练样本集的误差减小到符合要求为止。 ;BP网络一般为多层神经网络，由BP神经元构成的二层网络（如下图所示：两层BP神经网络模型），BP网络的信息从输入层流向输出层，因此是一种多层前馈神经网络。 一个具有输入和隐含层的神经网络模型结构（图1）;1.BP网络具有一层或多层隐含层，除了在多层网络上与其他的模型有不同外，其主要差别也表现在激活函数上。 2.BP网络的激活函数必须是处处可微的，因此它不能采用二值型的阀值函数{0，1}或符号函数{－1，1} 3.BP网络经常使用的是S型传输函数（如logsig函数）， 其输出值将会限制在较小的范围（0,1）内，线性传输函数则可以取任意值;对于图1的BP神经网络，设K为迭代次数，则每层权值和阈值的修正按下式进行： 式中，x（K）为第K次迭代各层之间的链接权向量或阈向量；g（k）=?E(K)/?x(k)为第K次迭代的神经网络输出误差对各权值或阈值的梯度向量；负号表示梯度的反方向，即梯度的最速下降方向；a（k）为学习效率，一般为常数;E(K)为第K次迭代的网络输出的总误差性能函数，BP网络误差性能函数的默认值为均方误差。 ;当一个样本（设第P个样本）输入网络，并产生输出时，均方误差应为各输出单元误差平方之和，即 当所有样本都输入一次后，总误差为 ;假设输入为P，输入神经元有r个，隐含层内有s1个神经元，激活函数为F1，输出层内有s2个神经元，对应的激活函数为F2，输出为A，目标矢量为T ;信息的正向传递 隐含层中第i个神经元的输出 输出层第k个神经元的输出 (1.3.1) 定义误差函数 (1.3.2) ;算法的下一阶是反向传播的敏感性值，在开始反向传播前需要先求传输函数的导数对于f1为对数S型激活函数： ;对于f2为线性激活函数： 根据式：（1.3.1）或（1.3.2）和各层的传输函数，可求出第K次迭代