神经网络个基本的学习算法.doc

五个基本的学习算法：误差—修正学习；基于记忆的学习；Hebb学习；竞争学习和Boltzmann学习。误差修正学习植根于最优滤波。基于记忆的学习通过明确的记住训练数据来进行。Hebb学习和竞争学习都是受了神经生物学上的考虑的启发。Boltzmann学习是建立在统计学力学借来的思想基础上。 误差修正学习 神经元k的输出信号表示，表示的是期望响应或目标 输出比较。由此产生表示的误差信号，有 　　　　　 这一目标通过最小化代价函数或性能指标来实现。定义如下 　　　　　 也就是说是误差能量的瞬时值。这种对神经元k的突触权值步步逼近的调节将持续下去，直到系统达到稳定状态。这时，学习过程停止。根据增量规则，在第n时间步作用于突触权值的调节量定义如下： 　　　　　 基于记忆的学习 在一个简单而有效的称作最近邻规则的基于记忆的学习类型中， 局部邻域被定义为测试向量的直接邻域的训练实例，特别，向量 　　　　　 被称作的最邻近，如果 　　　　　 这里，是向量和的欧几里德距离。与最短距离相关的类别，也就是向量被划分的类别。 Hebb学习 我们定义Hebb突触为这样一个突触，它使用一个依赖时间的、 高度局部的和强烈交互的机制来提高突触效率为前突触和后突触活动间的相互关系的一个函数。可以得出Hebb突触特征的４个重要机制：时间依赖机制；局部机制；交互机制；关联或相关机制。 竞争学习 获胜神经元k的输出信号被置为１；竞争失败的所有神经元 输出信号被置为０。这样，我们有 　　　　　 其中，诱导局部域表示结合所有达到神经元k的前向和反馈输入的动作。 　　令表示连接输入节点j到神经元k的突触权值。假定每个神经元被分配固定量的突触权值，权值分布在它的节点之中；也就是 　　　　　 然后神经元通过将突触权值从它的不活跃输入移向活跃输入来进行学习。如果神经元对一个特定输入模式不响应，那么没有学习发生在那个神经元上。如果一个特定神经元赢得了竞争，这个神经元的每个输入节点经一定的比例释放它的突触权值，释放的权值然后平均分布到活跃输入节点上。作用于突触权值的改变量定义为 　　　　　 Boltzmann学习 令表示网络在钳制条件下神经元j和k的状态间的相关量。 令表示网络在其自由运作条件下神经元j和k的状态间的相关量。作用于神经元j到神经元k的突触权值的改变量由 　　　　　，　　　 定义，其中是学习率参数。 五种学习算法的区别： 　　误差－修正学习和Boltzmann学习是有监督学习；而Hebb学习和竞争学习是无监督学习。 　　在误差－修正学习中，作用于神经元突触权值的调节量正比于本次学习中误差信号的突触的输入的乘积，它实际上带有局部性质，这仅仅是说由增量规则计算的突触调节局部于神经元k周围。同时，对的选择对学习过程的准确及其它方面也有深刻的影响。 　　基于记忆的学习中的最邻近规则，基于两个假设；分类实例（）按照实例（）的联合概率分布是独立同分布的；样本大小N是无限大的，它的分类错误率同贝叶斯误差概率的关系为 其中为贝叶斯误差概率，C是分类的类别数目。 　　Hebb学习中如果在突触（连接）每一边的两个神经元同时（即同步）激活，那么那个突触的强度被选择性增强；如果在突触每一边的两个神经元被异步激活，那么那个突触被选择性地减弱或消除。 　　竞争学习中突触权值的改变取决于前突触和当前的突触权值，与后突触权值无关。神经网络可以通过竞争学习来进行聚类。然而，开始时输入模式必须落入充分分离的分组中。否则，网络可能不稳定，因为它将不再以同样的输出神经元响应给定的输入模式。 　　Boltzmann学习中突触权值的改变实质上取决于前突触和后突触之间的相关量。并同时考虑在钳制条件和自由运行条件下的相关量，且的值数都在-1和+1范围内。 对此题分别采用MLP网络拟合，RBF网络拟合。 MLP网络拟合 % Example4_17BP % 用于曲线拟合的BP网络 clear all; % n为隐藏的神经元个数 n=input(请输入隐藏的神经元个数 n=); t=[15 15 15 18 28 29 37 37 44 50 50 60 61 64 65 65 72 75 75 82 85 91 91 97 98 125 142 142 147 147 150 159 165 183 192 195 218 218 219 224 225 227 232 232 237 246 258 276 285 300 301 305 312 317 338 347 354 357 375 394 513 535 554 591 648 660 705 723 756 768 860]; y0=[21.66 22.75 22.3 31.25 44.79 40.55 50.25 46.88 52.03 63.4