人工神经网络简明课件.ppt
文本预览下载声明
多层感知器 多层感知器: Multi-Layer Perceptron, MLP Architecture: 前馈网络 多层感知器的一致逼近性 单个阈值神经元可以实现任意多输入的与、或及与非、或非逻辑门 任何逻辑函数可由两层前馈网络实现 当神经元的输出函数为Sigmoid等函数时,两层前馈网络可以逼近任意的多元非线性函数 MLP的适用范围大大超过单层网络 前馈网络 XOR问题 任何一个逻辑电路都可以只用XOR门来实现, XOR是通用门 (universal logic gate) 感知器不能解决XOR问题 两层感知器可以解决XOR问题 前馈网络 C-Means算法双层神经网络实现 采用双层神经网络结构,如图所示: 输入节点数等于输入模式矢量的维数 隐层计算样本与各聚类中心的距离,其单元数等于类数(c),节点j与输入节点i的连接权值为wij, wj代表第j类聚类中心 输出层为“c中选1个最大” 输入层 输出层 C-1 MAXNET x1 x2 xR w1 w2 wc l 前馈网络 C-Means算法 神经网络的训练: 初始化:选择前c个样本x1, x2, …,xc初始化w1, w2, …,wc,并建立c个空聚类列表:K1, K2, …,Kc 依次把样本x馈入网络并计算输出l(即按照最小距离法则对样本x进行分类),把该样本存入聚类列表Kl中: 更新权值w1, w2, …,wc :用各聚类列表计算聚类均值,并用来更新相应权值(即作为各聚类新的代表点) 若所有权值未发生变化,则停止。否则转2。 前馈网络 反向传播(BP)算法 问题:多层感知器的中间隐层不直接与外界连接,其误差无法直接计算。 反向传播(Backpropagation)算法:从后向前(反向)逐层“传播”输出层的误差,以间接算出隐层误差。分两个阶段: 正向过程:从输入层经隐层逐层正向计算各单元的输出。 反向过程:由输出层误差逐层反向计算隐层各单元的误差,并用此误差修正当前层的权值。 正向过程 正向过程: BP算法 梯度下降(gradient decent)法 准则函数: sum squared error, SSE 权值修正: 梯度下降法 BP算法 Case 1: 输出层权值修正 对于sigmoid函数: 局部梯度 扩展delta学习规则 BP算法 Case 2:隐层权值修正 后层的全部单元都受nj的影响 i wji nj aj ni δj wji δi BP算法 初始值选择 前向计算,求出所有神经元的输出 对输出层计算δ 从后向前计算各隐层δ 计算并保存各权值修正量: 修正权值: 判断是否收敛,如果收敛则结束,不收敛则转至Step 2 BP算法的步骤 BP算法 第八章 人工神经网络 * 多层感知器的设计 两层感知器可以逼近任意(有限不连续点)的多元非线性函数 输入层单元数=输入变量/特征 维数 输出层单元数=模式类数/待逼近的函数个数 隐层单元数:无有效方法选择 网络初始化对结果有影响,通常用较小的随机数 学习率η的选择: (0.1, 3) 增加惯性项的BP算法: 前馈网络 径向基函数网络 径向基函数网络:只有一个隐层,隐层单元采用径向基函数。隐层把原始的非线性可分的特征空间变换到另一个空间(通常是高维空间),使之可以线性可分。 输出为隐层的线性加权求和。采用基函数的加权和来实现对函数的逼近。 径向基函数(radial basis function, RBF):径向对称的标量函数k(||x-xc||),最常用的RBF是高斯核函数 前馈网络 径向基函数网络结构 前馈网络 径向基函数网络的训练 三组可调参数: 隐单元的个数,隐单元基函数中心与方差xc, σ 输出层权值 wij 估计方法: 聚类的方法估计xc, σ LMS方法估计wij 前馈网络 8.5 神经网络模式识别典型方法 MLP是模式识别中应用最多的的网络模型 两种拓扑结构: ACON: all classes one net,多输出型 OCON: one class one net,单输出型 ACON OCON ACON应用典型方法 ACON应用最多,典型方法是: 网络的每个输入节点对应于样本的一个特征 输出层单元采用“c中取1”编码,每个输出节点对应一个类,即输出层单元数=模式类数 训练样本数据的目标输出:[0, 0,…, 1,…, 0], 即其所属类的相应输出节点为1,其他节点均为0 识别阶段:未知样本的类别判定为与输出值最大的节点对应的类别 前馈神经网络与模式识别 前馈神经网络与统计模式识别在方法上具有一定的等价关系: 单层感知器 vs. 线性分类器 多层感知器 vs. 非线性分类器 径向基函数网络 vs. Parzen窗密度估计分类器 前馈神经网络与模式识别 多层感知器集
显示全部