03 前馈神经网络6.ppt

神经网络 　电气工程学院 自动化 第三单元 前馈神经网络 主要内容： 感知神经网络 BP网络 BP网络学习算法的改进 自适应线性元件 神经网络的训练 一、感知神经网络（感知机） 感知神经网络（感知机）简介 1 单层感知器网络 两维空间图例功能解释 感知器的基本功能是将输入矢量转化成-1或1的输出 根据输出值通过测试加权输入和值落在阈值函数的左右对输入数据进行分类。 注意： 只有线性可分模式类才能用单层感知器来加以区分。 线性可分:如果存在一组权参数ωji,i=1,2,,n和θj,使x∈SA时,yj=1,而使x∈SB时,yj=-1,称样本集是线性可分的,否则是线性不可分的. 异或关系：见右图,显然是线性不可分的，因此单层感知器不可能将其正确分类。 历史上，Minsky正是利用这个典型例子指出了感知器的致命弱点，从而导致70年代神经元网络的研究低潮。 感知器学习训练步骤 设：p+1维输入向量 p+1维权向量 实际输出：y(n) 期望输出：d(n) 学习步长：η1 ① 初始化：置w(0)为小的随机数 ② 输入x(n)，计算感知器的实际输出 ③ 按下式调节权系数： ④ 检查过程。检查输出矢量A与目标矢量T是否相同。如果是，或已达最大循环次数，训练结束，否则转入⑤ ⑤ 令n=n+1，返回第2步 例1 如图所示的单层感知器学习 已知：样本 单变量样本4个，采用线性阈值单元： 第一类：d=1， x1=1， x3=3 第二类：d=-1， x2=-0.5， x4=-2 求：经过学习后，4个样本分类器的权系数值 解：考虑阈值输入变量： 输入x(2): 输入x(3): 感知器的有教师学习算法B 若输入模式是线性可分的，则可以找出无穷多条直线来对其进行正确的分类。 已知输入输出样本xp和dp（p=1，2，…，p），这里xp和dp表示第p组输入向量和期望输出。问题：如何设计单层感知器网络连接权ωi（i= 1，2，…，n）和θ，以使该网络能实现正确分类。即：如何根据样本对连接权和阈值进行学习和调整，样本相当于“教师”，因此，这是一个有监督的学习问题。 （1）随机地给定一组连接权ωi（0），k=0； （2）任取其中一组样本xp和dp，计算 （3）按下式调整连接权（其中取0α1，为学习率） （4）在样本集中选取另外一组样本，并让k+1→k，重复（2）-（4）过程，直到： 例1 两个输入的单层感知器,输入样本（两维）中： 为一类,对应的期望输出为-1; 为另一类,对应的期望输出为1; 阈值θ(0)=0.2,学习率α=0.5,初始权值 求：ω1（1），ω2（1）和θ（1） 提示:根据“感知器的有教师学习方法(具体步骤)B”求解 例2 三个输入的单层感知器,输入样本（三维）中： 为一类,对应的期望输出为-1; 为另一类,对应的期望输出为1; 阈值θ(0)=0.2,学习率α=0.5,初始权值 求：ω1（1），ω2（1）， ω3（1）和θ（1） 提示:根据“感知器的有教师学习方法(具体步骤)B”求解 ※整理学习算法C的训练步骤： 若输入模式是线性可分的，则可以找出无穷多条直线来对其进行正确的分类。 已知输入输出样本Pi和ai（i=1，2，…，R），T期望输出。问题：如何设计单层感知器网络连接权ωi（i= 1，2，…，R）和阈值b，以使该网络能实现正确分类。 （1）随机地给定一组连接权ωi[0 0]，k=0；b（0） （2）任取其中一组样本Pi 和T，计算 （3）按下式调整连接权（其中e为误差） （4）在样本集中选取另外一组样本，并让k+1→k，重复（2）-（4）过程，直到： 注意： 该学习算法收敛的充分必要条件是输入样本是线性可分的。 同时学习率 的选取也是十分关键的。 选取太小，学习太慢； 太大，学习过程可能出现修整过头的情况，从而产生振荡。 学习样本的输入顺序，对学习的结果和收敛速度有一定的影响。一般情况下，训练样本的选取最好在各类样本中轮流进行，以防止权值调整的不均匀。 有限个样本一次迭代完后，如果输出误差不全为零，需要N次迭代，应以第一个样本开始，作为输入向量，以前一次的权值和阈值进行计算，直到调整后的权值和阈值对所有的输入样本，其输出误差为零为止！ 根据训练后的结果画分类示意图：边界直线方程： 例 用感知器实现逻辑“与”功能 例 用感知器实现逻辑“或”功能 关键问题就是求 同样的方法，对其他输