第43章数据挖掘1038 43.1 BP 神经网络1038 43.2 径向基函数(RBF)网络.pdf

43 1038 43.1 BP 神经网络 1038 43.2 径向基函数(RBF) 网络模型 1042 43.3 投影寻踪回归 1045 43.4 支持向量机(SVM) 1049 43.4.1 支持向量机基本原理 1049 43.4.2 非线性支持向量机 1051 43.4.3 支持向量机回归 1052 43.4.4 DPS 系统中的支持向量机分类 1053 43.4.5 DPS 系统中的支持向量机分类操作 1054 43.4.6 DPS 系统中的支持向量机回归 1057 43.4.7 DPS 系统中的支持向量机回归操作 1058 43.5 随机森林 1059 43.5.1 随机森林基本原理 1060 43.5.2 随机森林分类示例 1062 1038 第 43 章 数据挖掘 43 43.1 BP 神经网络 近年来全球性的神经网络研究热潮的再度兴起，不仅仅是因为神经科学本身取得了 巨大的进展，更主要的原因在于发展新型计算机和人工智能新途径的迫切需要。迄今为 止在需要人工智能解决的许多问题中，人脑远比计算机聪明得多，要开创具有智能的新 一代计算机，就必须了解人脑，研究人脑神经网络系统信息处理的机制。另一方面，基 于神经科学研究成果基础上发展出来的人工神经网络模型，反映了人脑功能的若干基本 特性，开拓了神经网络用于计算机新途径。它对传统计算机结构和人工智能是一个有力 的挑战，引起了各方面专家的极大关注。 目前，已发展了几十种神经网络，如 Hopficld 模型、Feldmann 等的连接型网络模型、 Hinton 等的玻尔兹曼机模型以及 Rumelhart 等的多层感知机模型和 Kohonen 的自组织网 络模型等。在这众多神经网络模型中，应用最广泛的是多层感知机神经网络。多层感知 机神经网络的研究始于 20 世纪 50 年代，但一直进展不大。直到 1985 年，Rumelhart 等提 出误差反向传递学习算法(即BP 算法)，实现了Minsky 的多层网络设想，如图43-1 所示。 ( ) 43-1 BP BP 算法不仅有输入层节点、输出层节点，还可有一个或多个隐含层节点。对于输入 信号，要先向前传播到隐含层节点，经作用函数后，再把隐节点的输出信号传播到输出 节点，最后给出输出结果。节点的作用的激励函数通常选取 S 型函数，如 1 f (x ) 1ex / Q 式中 Q 为调整激励函数形式的 Sigmoid 参数。该算法的学习过程由正向传播和反向传播 组成。在正向传播过程中，输入信息从输入层经隐含层逐层处理，并传向输出层。每一 层神经元的状态只影响下一层神经元的状态。如果输出层得不到期望的输出，则转入反 向传播，将误差信号沿原来的连接通道返回，通过修改各层神经元的权值，使得误差信 号最小。 设含有 n 个节点的任意网络，各节点之特性为 Sigmoid 型。为简便起见，指定网络 只有一个输出y ，任一节点 i 的输出为 O ，并设有N 个样本(x ，y )(k 1，2 ，3，…，N)， i k k 43.1 BP 神经网络 1039