第2章-神经网络-（一）.ppt

3.反向误差传播 比较预期输出和实际输出，计算输出层误差。 Tj——输出单元j的预期输出 将得到的误差从后向前传播，前一层单元j的误差通过和它连接的后一层所有单元k的误差计算得到。 4.网络权值与神经元偏置调整 可以一边后向传播误差，一边调整网络权重和神经元的阈值，也可以先计算得到所有神经元的误差，再统一调整网络权重和神经元阈值。 调整权重：从输入层与第一隐含层的连接权重开始，依次向后进行调整。 l——学习率，通常取0~1之间的常数。太大会导致学习慢，太小会导致算法在不适当的解之间振动。一般将学习率设为迭代次数t的倒数，即1/t。 4.网络权值与神经元偏置调整 调整偏置：对每个神经元j进行如下更新： l——学习率，通常取0~1之间的常数。太大会导致学习慢，太小会导致算法在不适当的解之间振动。一般将学习率设为迭代次数t的倒数，即1/t。 5.判断结束 对每个样本，若最终输出误差小于可接受范围，或迭代次数到一定的阈值，则选取下一样本，转步骤2继续执行； 否则迭代次数加1，转步骤2继续使用当前样本训练。 2.4.3 应用举例 例2.1 已知一个前馈型神经网络例子如下图所示。设学习率l为0.9，当前的训练样本为x={1,0,1}，而且预期分类标号为1，同时，下表给出了当前该网络的各个连接权值和神经元偏置。求该网络在当前训练样本下的训练过程 。 w14 w15 w24 w25 w34 w35 w46 w56 0.2 -0.3 0.4 0.1 -0.5 0.2 -0.3 -0.2 -0.4 0.2 0.1 例 10.3 BPNN分类系统训练过程 w14 w15 w24 w25 w34 w35 w46 w56 0.2 -0.3 0.4 0.1 -0.5 0.2 -0.3 -0.2 -0.4 0.2 0.1 2.5 进化神经网络 对于某一具体问题，人工神经网络的设计是极其复杂的工作，至今仍没有系统的规律可以遵循 目前，一般凭设计者主观经验与反复实验挑选ANN 设计所需的工具 这样不仅使得设计工作的效率很低，而且还不能保证设计出的网络结构和权重等参数是最优的，从而造成资源的大量浪费和网络的性能低下 人工神经网络存在的问题 2.5 进化神经网络 使用进化算法去优化神经网络，通过进化算法和人工神经网络的结合使得神经网络能够在进化的过程中自适应地调整其连接权重、网络结构、学习规则等这些在使用神经网络的时候难以确定的参数，从而形成了进化神经网络（Evolutionary Neural Networks，ENN/EANN） 进化算法和神经网络的结合给神经网络指明了新的发展方向，对突破神经网络结构复杂、参数难调等问题起到了重大的作用 进化神经网络的优势 2.6 神经网络的应用 民用应用领域 语言识别、图像识别与理解、计算机视觉、智能机器人故障检测、实时语言翻译、企业管理、市场分析、决策优化、物资调运、自适应控制、专家系统、智能接口、神经生理学、心理学和认知科学研究等等 军用应用领域 语音、图像信息的录取与处理、雷达、声纳的多目标识别与跟踪、战场管理和决策支持系统、军用机器人控制、各种情况、信息的快速录取、分类与查询、导弹的智能引导、保密通讯、航天器的姿态控制等等 2.6 神经网络的应用 识别与聚类应用 模式识别和分类是指通过使用一系列的训练数据对神经网络进行训练，在有教师指导的学习方法下，让神经网络在训练数据的训练下调整网络的结构和权重，以达到正确识别的目的 2.6 神经网络的应用 计算与优化应用 神经计算是人工神经网络的一个重要应用手段，也为各种优化问题提供了解决的方案。优化问题就是需要在问题的解空间里面寻找一个最优的解在满足一定约束条件下使得目标函数最大化或者最小化。由于神经网络具有并行搜索处理信息、联想记忆等特点，在搜索系统的全局最优或局部最优解方面，具有很好的优势，因此在优化问题上得到了广泛的研究和应用 2.6 神经网络的应用 建模与预测应用 人工神经网络应用在非线性系统建模上的时候，实质上就是通过训练神经网络，让其在训练数据中获取知识，并且完成从输入到输出的非线性映射过程 所谓神经网络预测就是根据一定数量的历史样本数据（一般为表征某一种现象时间序列的数据，例如交通流量，外汇走势等等）对神经网络进行训练，然后用来对当前的，或者未来的时刻情景进行预测 若已获得时间序列数据样本t(1),t(2)…t(n)以及对应的输出y(1),y(2)…y(n)，如果想预测t(n+1)时刻的输出y(n+1)，则需要先训练网络后使用网络。 训练网络：先设定一时间长度L的历史数据作为一输入，第一个训练样本假设为t(i-L+1),t(i-L+2)…t(i)，其中i=L，作为网络的输入，y(i)为输出，第二个训练样本为t(i