人工神经网络BP算法及数字识别.pdf

摘要 人工神经网络（Artificial Neural Network,ANN ）是人工智能领域中的一个重要 分支，具有非常好的容错性，学习功能十分强大，具有较快的速度。它包含了很多 网络成果，BP 算法是它比较成熟的一个，BP 算法是前向网络的核心部分，体现了 神经网络中最精华，最完美的内容。 本课题对数字识别做了全面细致的论述，将 BP 算法应用与数字识别。本文通 过建立数字库，用 BP 算法对数字图形进行训练和识别，分析扩充样集与识别率的 关系，并且分别使用三种改进地训练算法函数进行训练比较，以找出训练速度最快 的训练函数。实验结果表明，扩充样本集之后，识别率得到显著的提高。但是，由 于样本的增加，训练系统的学习速度变慢，容易陷入局部最小点，达不到要求的误 差精度。当选用合适的Levenberg-Marquardt BP 训练函数后，训练速度得到大幅提 高满足训练要求。本文研究的数字识别系统有较高的识别率和较快的训练速度，具 有模糊识别的能力，对未知数字样本能够有较好的识别效果。 关键词：神经网络、BP 算法、数字识别 第一章 绪论 1．1 研究历史 神经网络领域研究的背景工作始于19 世纪末和20 世纪初。它源于物理学、心 理学和神经生物学的跨学科研究，主要代表人物有Herman Von Helmholts,Ernst Mach 和IvanPavlov[1]。这些早期的研究主要还是着重于有关学习、视觉和条件反射等一 般理论，并没有包含有关神经元工作的数学模型。 现代对神经网络的研究可以追溯到20 世纪40 年代Warren McCulloch 和Walter Pitts 的工作[1]。他们从原理上证明了人工神经网络可以计算任何算术和逻辑函数。 通常认为他们的工作是神经网络领域研究工作的开始。 人工神经网络的第一个实际应用出现在20 世纪50 年代后期，Frank Rosenblatt 提出了感知机网络和学习规则。Rosenblatt 和他的同时构造了一个感知机网络，并 公开演示了它进行模式识别的能力。这次早期的成功引起了许多人对神经网络研究 的兴趣。但是，随之而来的Minsky 和Papert 的书，利用数学证明单层感知器所能 计算的根本局限。在有关多层感知器的一节中，他们认为没有任何理由假定单层感 知器的任何局限可以在多层情况下被克服。许多人受到Minsky 和Papert 的影响， 认为神经网络的研究己走入了死胡同。同时由于当时没有强大的数字计算机来支持 各种实验，从而导致许多研究者纷纷离开这一研究领域。神经网络的研究就这样停 滞了十年。 到了80 年代，随着个人计算机和工作站计算能力的急剧增强和广泛应用，以及 不断引入新的概念，克服了摆在神经网络研究前面的障碍，人们对神经网络的研究 热情空前高涨。其中，最有影响的事件就是几个不同的研究者分别开发出了用于训 练多层感知机的反向传播算法(BP 算法) 。该算法完全否定了Minsky 和Papert 对多 层感知机局限性的断言。这些新的进展对神经网络研究领域注入了活力。在过去的 20 年中，人们发表了成千上万的神经网络研究论文。由于多层神经网络的非线性和 自适应性等特点，神经网络己经在模式识别、人工智能、自动控制等领域获得了成 功的应用。 1．2 应用背景 研究者们起初在非自动知识获取的基础上增加自动化的功能，如拥有自学习能 力的知识编辑软件，之后开始研究在系统运行过程中如何应用简单的机器学习方法 增强知识库的自适应能力。经过多年的努力，基于机器学习的知识获取在文本知识 获取、领域知识获取、用户知识获取等方面已取得很多成绩。 当前，国内外相关内容的研究主要侧重于基于机器学习的知识获取，研究主要 集中在以下几个方面: (1)机器学习和知识获取理论的进一步探索 (2)机器学习与知识获取的融合研究 (3)一些基于机器学习的知识获取技术应用 近年来面向对象的方法也被引入知识获取，称为面向对象的知识获取。此方法 获取知识可分为两步进行:首先确定问题领域及对象，并按面向对象的方法对其进行 分解与分类;其次按对象及其属性，逐一构造决策树。[2] 更进一步，研究者开始把机器学习的理论和方法应用到知识库的构建过程而不 仅仅用于知识库的维护和更新。如Oka