人工神经网络简明课件.ppt

多层感知器 多层感知器: Multi-Layer Perceptron, MLP Architecture： 前馈网络 多层感知器的一致逼近性 单个阈值神经元可以实现任意多输入的与、或及与非、或非逻辑门 任何逻辑函数可由两层前馈网络实现 当神经元的输出函数为Sigmoid等函数时，两层前馈网络可以逼近任意的多元非线性函数 MLP的适用范围大大超过单层网络 前馈网络 XOR问题 任何一个逻辑电路都可以只用XOR门来实现， XOR是通用门 (universal logic gate) 感知器不能解决XOR问题 两层感知器可以解决XOR问题 前馈网络 C-Means算法双层神经网络实现 采用双层神经网络结构，如图所示： 输入节点数等于输入模式矢量的维数 隐层计算样本与各聚类中心的距离，其单元数等于类数(c)，节点j与输入节点i的连接权值为wij， wj代表第j类聚类中心 输出层为“c中选1个最大” 输入层 输出层 C-1 MAXNET x1 x2 xR w1 w2 wc l 前馈网络 C-Means算法 神经网络的训练： 初始化：选择前c个样本x1, x2, …,xc初始化w1, w2, …,wc，并建立c个空聚类列表：K1, K2, …,Kc 依次把样本x馈入网络并计算输出l（即按照最小距离法则对样本x进行分类），把该样本存入聚类列表Kl中： 更新权值w1, w2, …,wc ：用各聚类列表计算聚类均值，并用来更新相应权值（即作为各聚类新的代表点） 若所有权值未发生变化，则停止。否则转2。 前馈网络 反向传播(BP)算法 问题：多层感知器的中间隐层不直接与外界连接，其误差无法直接计算。 反向传播(Backpropagation)算法：从后向前（反向）逐层“传播”输出层的误差，以间接算出隐层误差。分两个阶段： 正向过程：从输入层经隐层逐层正向计算各单元的输出。 反向过程：由输出层误差逐层反向计算隐层各单元的误差，并用此误差修正当前层的权值。 正向过程 正向过程: BP算法 梯度下降(gradient decent)法 准则函数: sum squared error, SSE 权值修正: 梯度下降法 BP算法 Case 1: 输出层权值修正 对于sigmoid函数: 局部梯度 扩展delta学习规则 BP算法 Case 2:隐层权值修正 后层的全部单元都受nj的影响 i wji nj aj ni δj wji δi BP算法 初始值选择 前向计算，求出所有神经元的输出 对输出层计算δ 从后向前计算各隐层δ 计算并保存各权值修正量： 修正权值： 判断是否收敛，如果收敛则结束，不收敛则转至Step 2 BP算法的步骤 BP算法 第八章 人工神经网络 * 多层感知器的设计 两层感知器可以逼近任意(有限不连续点)的多元非线性函数 输入层单元数=输入变量/特征 维数 输出层单元数=模式类数/待逼近的函数个数 隐层单元数：无有效方法选择 网络初始化对结果有影响，通常用较小的随机数 学习率η的选择: (0.1, 3) 增加惯性项的BP算法： 前馈网络 径向基函数网络 径向基函数网络：只有一个隐层，隐层单元采用径向基函数。隐层把原始的非线性可分的特征空间变换到另一个空间（通常是高维空间），使之可以线性可分。 输出为隐层的线性加权求和。采用基函数的加权和来实现对函数的逼近。 径向基函数(radial basis function, RBF)：径向对称的标量函数k(||x-xc||)，最常用的RBF是高斯核函数 前馈网络 径向基函数网络结构 前馈网络 径向基函数网络的训练 三组可调参数： 隐单元的个数，隐单元基函数中心与方差xc, σ 输出层权值 wij 估计方法： 聚类的方法估计xc, σ LMS方法估计wij 前馈网络 8.5 神经网络模式识别典型方法 MLP是模式识别中应用最多的的网络模型 两种拓扑结构： ACON: all classes one net，多输出型 OCON: one class one net，单输出型 ACON OCON ACON应用典型方法 ACON应用最多，典型方法是： 网络的每个输入节点对应于样本的一个特征 输出层单元采用“c中取1”编码，每个输出节点对应一个类，即输出层单元数=模式类数 训练样本数据的目标输出：[0, 0,…, 1,…, 0], 即其所属类的相应输出节点为1，其他节点均为0 识别阶段：未知样本的类别判定为与输出值最大的节点对应的类别 前馈神经网络与模式识别 前馈神经网络与统计模式识别在方法上具有一定的等价关系： 单层感知器 vs. 线性分类器 多层感知器 vs. 非线性分类器 径向基函数网络 vs. Parzen窗密度估计分类器 前馈神经网络与模式识别 多层感知器集