人工神经网络的学习与训练.ppt

人工神经网络的学习与训练 * * 学习训练算法对人工神经网络研究的影响 由于没有解决训练方法的问题，1943年提出的第一个人工神经元模型 ? MP模型（由W.McCulloch和W.Pitts 提出）缺乏与生物神经元类似的学习能力。 由美国学者（F.Rosenblatt）于1958年提出的感知器（Perceptron）是第一个采用训练算法神经网络模型。但其学习算法只适于单层感知器网络，而单层感知器网络只能用于解决线性可分的分类问题，连象XOR（异或）这样简单的非线性问题却无法求解。 这一点使人们大失所望，他们甚至开始怀疑神经网络的价值和潜力。1969年，美国麻省理工学院著名的人工智能专家M. Minsky和S.Papert出版了颇有影响的《Perceptron》一书，从数学上剖析了简单神经网络的功能和局限性，并且指出多层感知器还不能找到有效的计算方法，由于M.Minsky在学术界的地位和影响，其悲观的结论，被大多数人不进一步分析而加以接受；加之当时以逻辑推理为研究基础的人工智能和数字计算机的辉煌成就，大大降低了人们对神经网络研究的热情，使得在后来的若干年限制了神经网络的发展 。 1974年，P.Werbos在其博士论文中提出了第一个适合多层网络的学习算法，但并未受到足够的重视和广泛的应用。 直到80年代中期，美国加利福尼亚的PDP（Parallel Distributed Procession）小组于1986年发表了《Parallel Distributed Processing》一书，将该算法应用于神经网络的研究，才使之成为迄今为止最著名的多层网络学习算法 —— BP算法，对人工神经网络的研究和应用起到了巨大的推动作用。 人工神经网络的学习方式 在神经网络的研究过程中，人们提出了多种神经网络的学习方法，其中主要有三种形式： 有教师学习：是在有“教师”指导和考察的情况下进行学习的方式，“教师”给出了所有输入模式对应的输出模式的“正确答案”，即期望输出（目标）。 神经网络根据一定的学习规则进行学习，每一次学习过程完成后，“教师”都要考察学习的结果— 实际输出与期望输出的差别（误差e），以此决定网络是否需要再次学习，并根据误差信号调整学习的进程，使网络实际输出和期望输出的误差随着学习的反复进行而逐渐减小，直至达到要求的性能指标为止。 无教师学习：不存在“教师”的指导和考察，是靠神经网络本身完成的。学习过程根据输入信息和自身特有的网络结构和学习规则，来调节参数或结构，是一种自学习、自组织过程，从而使网络的输出反映输入的某种固有特性（如聚类或某种统计上的分布特征）。 强化学习（再励学习）：这种学习介于上述两种学习方式之间 ）。外部环境对学习后的输出结果只给出评价信息（奖或惩），而不给出正确答案。神经网络学习系统通过强化那些受奖励的行为来改善自身的性能。 无论哪种学习方式，其学习过程都有一定的规则，神经网络典型的学习规则有Hebb学习规则、误差纠正学习规则、竞争学习规则等 。 Exit *