我的人工神经网络3多级神经网络结构.pptx

x1 w1∑fx2 w2?net=XWo=f（net）…xn wn上次课内容回顾激活函数与M-P模型 线性函数、非线性斜面函数、阈值函数 S形函数 M-P模型第3章 多层人工神经网络结构 主要内容人工神经网络的拓扑特性单级网简单单级网单级横向反馈网多级网介绍求异或（XOR）操作是计算机中常用到的一种计算：0 XOR 0 = 00 XOR 1 = 11 XOR 0 = 11 XOR 1 = 0可以发现用原来的方法学习后的结果不能让我们满意，原因是单层神经网络学习能力有限，需要使用更加复杂的网络来学习。该多层神经网络在单层神经网络的基础上增加了一层“隐藏层”（Hidden） ANi wij ANj 人工神经网络的拓扑特性 连接的拓扑表示 联接模式 用正号（“+”，可省略）表示传送来的信号起刺激作用，它用于增加神经元的活跃度；用负号（“-”）表示传送来的信号起抑制作用，它用于降低神经元的活跃度。层次（又称为“级”）的划分，导致了神经元之间的三种不同的互连模式： 联接模式 1、 层（级）内联接层内联接又叫做区域内（Intra-field）联接或侧联接（Lateral）。用来加强和完成层内神经元之间的竞争2、 循环联接反馈信号。 联接模式3、层（级）间联接 层间（Inter-field）联接指不同层中的神经元之间的联接。这种联接用来实现层间的信号传递前馈信号反馈信号 网络的分层结构 单级网 简单单级网 单级横向反馈网o1w11x1输出层输入层 w1mx2o2w2m……wn1…xnomwnm简单单级网简单单级网W=（wij）输出层的第j个神经元的网络输入记为netj： netj=x1w1j+x2w2j+…+xnwnj其中, 1≤ j ≤ m。取NET=（net1，net2，…，netm）NET=XWO=F（NET）o1x1w11w1mx2o2w2mVwn1………omxn输出层输入层 单级横向反馈网单级横向反馈网 V=（vij）NET=XW+OVO=F（NET）时间参数——神经元的状态在主时钟的控制下同步变化考虑X总加在网上的情况NET（t+1）=X（t）W+O（t）V O(t+1)=F(NET(t+1))O（0）=0考虑仅在t=0时加X的情况。 稳定性判定…输入层x1o1隐藏层输出层…………o2x2……xnom多级网…输入层x1o1隐藏层输出层…………o2x2……xnom层次划分 信号只被允许从较低层流向较高层。层号确定层的高低：层号较小者，层次较低，层号较大者，层次较高。输入层：被记作第0层。该层负责接收来自网络外部的信息…输入层x1o1隐藏层输出层…………o2x2……xnom第j层：第j-1层的直接后继层（j0），它直接接受第j-1层的输出。输出层：它是网络的最后一层，具有该网络的最大层号，负责输出网络的计算结果。隐藏层：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号…输入层x1o1W(2)W(3)W(h)W(1)隐藏层输出层…………o2x2……xnom约定 :输出层的层号为该网络的层数：n层网络，或n级网络。第j-1层到第j层的联接矩阵为第j层联接矩阵，输出层对应的矩阵叫输出层联接矩阵。今后，在需要的时候，一般我们用W（j）表示第j层矩阵。…输入层x1o1W(2)W(3)W(h)W(1)隐藏层输出层…………o2x2……xnom多级网——h层网络多级网非线性激活函数 F(X)=kX+CF3(F2(F1(XW(1))W(2))W(3))o1x1o2x2…………………xnom输入层隐藏层输出层循环网网络结构 与电子线路对应： 放大器——神经元 电阻、电容— —神经元的时间常数 电导——权系数循环网 如果将输出信号反馈到输入端,就可构成一个多层的循环网络。输入的原始信号被逐步地“加强”、被“修复”。大脑的短期记忆特征——看到的东西不是一下子就从脑海里消失的。稳定：反馈信号会引起网络输出的不断变化。我们希望这种变化逐渐减小，并且最后能消失。当变化最后消失时，网络达到了平衡状态。如果这种变化不能消失，则称该网络是不稳定的。 初始例子的实现基本的原理就是用实际网络计算出来的值和期望的值进行比较，然后来调整自己的权值。 /// summary /// 根据期望的输出和实际的输出来调整权值 /// /summary /// param name=targOut期望的输出/param private void train_network(double[] outputs) { //get momentum values (delta values from last pass) double[] delta_hidden = new double[_nn.NumberOfHidden + 1]; dou