神经网络优化学习算法综述本科论文.doc

神经网络优化学习算法综述 摘要：人工神经网络的研究始于二十世纪四十年代，神经网络的优化学习一直是研究的热点。神经网络的优化算法就是利用神经网络中的神经元的协同并行计算能力来构造的优化算法，它将实际问题的优化解与神经网络的稳定状态相对应，把对实际问题的优化过程映射为神经网络系统的演化过程。本文对目前几种常见的神经网络优化学习算法，感知器，Widrow-Hoff学习算法，BP学习算法等进行了综述性研究。 关键词：人工神经网络，优化学习，感知器，Widrow-Hoff，BP，RBF A Survey on Neural Network Optimization Learning Algorithms Abstract: Artificial neural network research began in the 1940s, neural network optimization study has been on the hot. Neural network optimization algorithm is that it uses the neural networks of neurons in the synergy parallel computing capacity to optimize the structure of the algorithm, it make the optimization of the practical problems correspond with the stable state of the neural network, and the optimization process of practical problems is mapped for the evolvement process of the neural network systems. In this paper, several of the current common neural networks with their learning algorithm optimizations are given an overviewed research, such as perceptron, Widrow-Hoff learning algorithm, BP learning algorithm, and so on. Key words: neural networks, learning algorithm, perceptron, BP，RBF, Widrow-Hoff 引言 神经网络的研究至今已有近60年的历史，其发展道路曲折，目前已得到较深入而广泛的研究与应用。1943年心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型，即MP模型，他们利用逻辑的数学工具研究客观世界的事件在形式神经网络中的表达。1949年，心理学家Hebb通过对大脑神经细胞、学习和条件反射的观察和研究，剔除了改变神经元连接的Hebb规则，现在多数学习机仍遵循Hebb学习规则。50年代末， Rosenblatt设计发展了MP模型，剔除了多层感知机，即Perceptron，试图模拟动物和人脑的感知和学习能力。60年代初，Widrow提出了自适应线性单元模型，即Adaline，以及一种有效的网络学习方法，即Widrow-Hebb规则，或称为δ规则。鉴于上述研究，神经网络一起了许多科学家的兴趣。但是，1962年，但是具有较高学术地位的人工智能创始人Minsky和Papert出版了《Perceptron》一书，对以感知机为代表的神经网路的功能和局限性从数学上进行了深入分析，并指出Perceptron只能进行线性分类求解一阶谓词问题同时寻找多层感知机的有效学习算法并不乐观。这导致许多学者放弃了对神经网络的研究，使神经网络的研究陷入了低潮。直到80年代，Hopfield通过引入能量函数的概念，研究网络的动力学性质，并用电子线路设计出相应的网络，从而开拓了神经网络用于联想记忆和优化计算的新途径，进而掀起了神经网络的研究热潮，为神经优化的研究奠定了基础。Rumelhart和MaClelland等提出了PDP理论，尤其是发展了多层前向网络的BP算法，为解决多层前向网络的学习问题开辟了有效途径，并成为迄今应用最普遍的学习算法。随后开拓性的研究工作又大大发展了神经网络的模型与学习算法，并加深了人们对神经网络的认识。 神经网络模型及其优化算法 按结构方式分类神经网络可分为两大类模型，即前馈（feed-forward）模型和后馈（feed-back）模型。按照神经网络的拓扑结构与学习算法相结合的方法，将