人工神经网络基础课件.ppt

人工神经网络 人工神经网络概述 前向多层网络 自组织特征映射网络（SOFM） 人工神经网络概述 一 人工神经网络发展 二 生物学基础 三 人工神经网络结构 四 神经网络基本学习算法 1957年，F.Rosenblatt提出“感知器”(Perceptron) 模型，第一次把神经网络的研究从纯理论的探讨付诸工程实践，掀起了人工神经网络研究的第一次高潮。 1969年，人工智能学者专著《感知机》的发表，从数学上严格论证了简单的线性感知机不能解决“异或”（XOR）问题。同时也指出如果在感知器中引入隐含神经元，增加神经网络的层次，可以提高神经网络的处理能力，但是却无法给出相应的网络学习算法。于是，从20世纪60年代末期起，人工神经网络的研究进入了低潮。 1982年，美国加州工学院物理学家Hopfield提出了离散的神经网络模型，标志着神经网络的研究又进入了一个新高潮。1984年，Hopfield又提出连续神经网络模型，开拓了计算机应用神经网络的新途径。 1986年，Rumelhart和Meclelland提出多层网络的误差反传(back propagation)学习算法，简称BP算法。解决了多层前向神经网络的学习问题，证明了多层神经网络具有很强的学习能力，它可以完成许多学习任务，解决许多实际问题。 自20世纪80年代中期以来，世界上许多国家掀起了神经网络的研究热潮，可以说神经网络已成为国际上的一个研究热点。 神经网络研究的两大派： 主要包括:生物学家、物理学家和心理学家 研究目的：给出大脑活动的精细模型和描述。 主要包括:工程技术人员 主要目的：怎样利用神经网络的基本原理，来构造解决实际问题的算法，使得这些算法具有有趣的和有效的计算能力。 人工神经网络属于此类 人工神经网络概念： 人工神经网络： 就是把一个描述生物神经网络运行机理和工作过程的抽象和简化了的数学-物理模型，表达成为一个以其中的人工神经元为节点、以神经元之间的连接关系为路径权值的有向图，再用硬件或软件程序实现该有向图的运行，其稳态运行结果体现生物神经系统的某种特殊能力。 人工神经网络是近年来得到迅速发展的一个前沿课题。神经网络由于其大规模并行处理、容错性、自组织和自适应能力和联想功能强等特点，已成为解决很多问题的有力工具。 二 生物学基础 生物神经元 突触信息处理 信息传递功能与特点 1、生物神经元 神经元是大脑处理信息的基本单元 人脑约由101l-1012个神经元组成，其中，每个神经元约与104-105个神经元通过突触联接，形成极为错纵复杂而且又灵活多变的神经网络 神经元以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干 主要由细胞体、树突、轴突组成 2、突触的信息处理 生物神经元传递信息的过程为多输入、单输出； 神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近； 当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质； 突触有两种类型，兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位。 3、信息传递功能与特点 具有时空整合能力 不可逆性，脉冲只从突触前传到突触后，不逆向传递 神经纤维传导的速度，即脉冲沿神经纤维传递的速度，在1—150m／s之间 信息传递时延和不应期，一般为0.3～lms 可塑性，突触传递信息的强度是可变的，即具有学习功能 存在学习、遗忘或疲劳（饱和）效应 对应突触传递作用增强、减弱和饱和 三 人工神经网络结构 人工神经网络 人工神经元模型 常见的神经元激发函数 人工神经网络典型结构 2、神经网络的学习规则 联想式学习 — Hebb学习规则 误差纠正式学习——Delta (δ)学习规则 人工神经网络连接权的确定通常有两种方法 根据具体要求，直接计算，如Hopfield网络作优化计算 通过学习得到的。大多数人工神经网络都采用这种方法 感知器模型是美国学者罗森勃拉特（Rosenblatt）为研究大脑的存储、学习和认知过程而提出的一类具有自学习能力的神经网络模型，它把神经网络的研究从纯理论探讨引向了从工程上的实现。 Rosenblatt提出的感知器模型是一个只有单层计算单元的前向神经网络，称为单层感知器。 感知器特别适合于简单的模式分类问题，模式分类的学习控制和多模态控制中 神经网络的实际运用 谢谢！ 6 双曲正切函数 众所周知，神经网络强大的计算功能是通过神经元的互连而达到的。根据神经元的拓扑结构形式不同，神经网络可分成以下两大类： 4、人工神经网络的典型结构 目前，神经网络模型的种类比较多，已有近40余种神经网络模型，其中典型的有