人工神经网络.ppt

*基本原理－基本属性基本属性：非线性：自然界的普遍特性大脑的智慧就是一种非线性现象人工神经元处于激活或抑制两种不同的状态，在数学上表现为一种非线性。非局域性：一个神经网络通常由多个神经元广泛连接而成一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定通过单元之间的大量连接模拟大脑的非局域性联想记忆是非局域性的典型例子。第31页，共86页，星期日，2025年，2月5日*基本原理－基本属性非定常性人工神经网络具有自适应、自组织、自学习能力神经网络不但处理的信息有各种各样，而且在处理信息的同时，非线性动力系统本身也在不断变化经常采用迭代过程描写动力系统的演化过程。非凸性：系统演化的多样性一个系统的演化方向，在一定条件下，将取决于某个特定的状态函数，如能量函数，它的极值相应于系统比较稳定的状态非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。第32页，共86页，星期日，2025年，2月5日*基本原理－优缺点评价优点： 并行性；分布存储；容错性；学习能力缺点： 不适合高精度计算；学习问题没有根本解决，慢；目前没有完整的设计方法，经验参数太多。第33页，共86页，星期日，2025年，2月5日*神经网络学习学习(亦称训练)是神经网络的最重要特征之一。神经网络能够通过学习,改变其内部状态,使输入—输出呈现出某种规律性。网络学习一般是利用一组称为样本的数据,作为网络的输入(和输出),网络按照一定的训练规则(又称学习规则或学习算法)自动调节神经元之间的连接强度或拓扑结构,当网络的实际输出满足期望的要求,或者趋于稳定时,则认为学习成功。第34页，共86页，星期日，2025年，2月5日*神经网络学习1.学习规则权值修正学派认为：神经网络的学习过程就是不断调整网络的连接权值，以获得期望的输出的过程。所以，学习规则就是权值修正规则。2.学习方法分类从不同角度考虑，神经网络的学习方法有不同的分类。表9.1列出了常见的几种分类情况。第35页，共86页，星期日，2025年，2月5日*神经网络学习表1神经网络学习方法的常见分类第36页，共86页，星期日，2025年，2月5日*ANN人工神经网络概述基本原理前向型神经网络BP神经网络自组织竞争神经网络神经网络的应用与人工智能原理的结合第37页，共86页，星期日，2025年，2月5日*前向型神经网络概述最初称之为感知器。应用最广泛的一种人工神经网络模型，最要原因是有BP学习方法。前向网络结构是分层的，信息只能从下一层单元传递到相应的上一层单元。上层单元与下层所有单元相联接特性函数可以是线性阈值的。第38页，共86页，星期日，2025年，2月5日*前向型神经网络单层感知器第39页，共86页，星期日，2025年，2月5日*前向型神经网络基本原理和结构极其简单在实际应用中很少出现采用阶跃函数作为特性函数２维空间可以明显表现其分类功能，但Minsky等揭示的致命弱点也一目了然。关键是学习算法及网络设计方法输出yi等于：(1)其中第40页，共86页，星期日，2025年，2月5日*前向型神经网络－单层感知器分类方法：如果输入x有k个样本，xp,p=1,2,…,k,x?Rn当将这些样本分别输入到单输出的感知器中，在一定的和下，输出有两种可能+1或-1。把样本xp看作为在n维状态空间中的一个矢量，则k个样本为输入空间的k个矢量前向神经网络就是将n维空间分为SA、SB两个子空间，其分界线为n-1维的超平面。即用一个单输出的感知器通过调整参数及来达到k个样本的正确划分。第41页，共86页，星期日，2025年，2月5日*前向型神经网－单层感知器则存在一组权值wij使得公式(1)满足:称样本集为线性可分的，否则为线性不可分的。第42页，共86页，星期日，2025年，2月5日*前向型神经网－单层感知器如：2维空间希望找到一根直线，把A,B两类样本分开，其分界线为:解有无数个。单层感知器只能解决线性可分类的样本的分类问题。如样本不能用一个超平面分开，就会产生当年Minsky等提出的不可分问题如：异或问题。第43页，共86页，星期日，2025年，2月5日*++++++++X1X2二维输入感知器及其在状态空间中的划分第44页，共86页，星期日，2025年，2月5日*前向型神经网络－多层感知器多层感知器多层感知器的输入输出关系与单层