人工神经网络.pptx

人工神经网络又称仿生学派或生理学派认为人的思维基元是神经元，而不是符号处理过程认为人脑不同于电脑核心：智能的本质是联接机制。原理：神经网络及神经网络间的连接机制和学习算法麦卡洛可（McCulloch）皮茨（Pitts)联结主义学派 所谓的人工神经网络就是基于模仿生物大脑的结构和功能而构成的一种信息处理系统（计算机）。个体单元相互连接形成多种类型结构的图循环、非循环有向、无向自底向上（Bottom-Up）AI起源于生物神经系统从结构模拟到功能模拟人工神经网络仿生什么是神经网络内容生物学启示多层神经网络Hopfield网络自组织网络生物学启示 神经元组成：细胞体，轴突，树突，突触 神经元之间通过突触两两相连。信息的传递发生在突触。 突触记录了神经元间联系的强弱。 只有达到一定的兴奋程度，神经元才向外界传输信息。 生物神经元神经元特性信息以预知的确定方向传递一个神经元的树突－细胞体－轴突－突触－另一个神经元树突时空整合性对不同时间通过同一突触传入的信息具有时间整合功能对同一时间通过不同突触传入的信息具有空间整合功能神经元工作状态兴奋状态，对输入信息整合后使细胞膜电位升高，当高于动作电位的阈值时，产生神经冲动，并由轴突输出。抑制状态，对输入信息整合后使细胞膜电位降低，当低于动作电位的阈值时，无神经冲动产生。结构的可塑性神经元之间的柔性连接：突触的信息传递特性是可变的 ——学习记忆的基础神经元从生物学结构到数学模型神经元模型Thresholdx1ω1ω2x2InputOutputyθωnxnM-P模型f: 激活函数(Activation Function)g: 组合函数(Combination Function)McClloch and Pitts, A logical calculus of the ideas immanent in nervous activity, 1943人工神经元Weighted Sum Radial Distance组合函数 ThresholdLinearSaturating Linear Hyperbolic tangent SigmoidGaussianLogistic Sigmoid (e) (f) 激活函数多个人工神经元按照特定的网络结构联接在一起，就构成了一个人工神经网络。神经网络的目标就是将输入转换成有意义的输出。人工神经网络自适应学习适应的目标是基于对环境信息的响应获得更好的状态在神经层面上，通过突触强度的改变实现学习消除某些突触，建立一些新的突触生物系统中的学习Hebb学习律神经元同时激活，突触强度增加异步激活，突触强度减弱学习律符合能量最小原则保持突触强度需要能量，所以在需要的地方保持，在不需要的地方不保持。生物系统中的学习能量最小 ENERGY MINIMIZATION对人工神经网络，需要确定合适的能量定义；可以使用数学上的优化技术来发现如何改变神经元间的联接权重。ENERGY = measure of task performance errorANN的学习规则两个主要问题结构 How to interconnect individual units?学习方法 How to automatically determine the connection weights or even structure of ANN?Solutions to these two problems leads to a concrete ANN!人工神经网络前馈结构(Feedforward Architecture) - without loops - static 反馈/循环结构(Feedback/Recurrent Architecture) - with loops - dynamic (non-linear dynamical systems)ANN结构General structures of feedforward networksGeneral structures of feedback networks通过神经网络所在环境的模拟过程，调整网络中的自由参数 Learning by data学习模型 Incremental vs. Batch两种类型 Supervised vs. UnsupervisedANN的学习方法若两端的神经元同时激活，增强联接权重Unsupervised Learning学习策略: Hebbrian Learning 最小化实际输出与期望输出之间的误差(Supervised) - Delta Rule (LMS Rule, Widrow-Hoff) - B-P LearningObjecti