人工神经网络及应用第6讲自组织网络.ppt

人工神经网络及其应用第6讲 自组织网络 何建华 电信系，华中科技大学 2003年3月11日 内容安排 一、自组织神经网络 二、自组织竞争网络 三、科荷伦网络 四、自适应共振网络 五、内容小结 六、考试事宜 一、自组织神经网络 1.1 自组织网络特点 特点 自组织神经网络可以自动向环境学习，不需要教师指导；而前面所讲到的前向网络、反馈网络均需要教师指导学习 与BP网络相比，这种自组织自适应的学习能力进一步拓宽了人工神经网络在模式识别、分类方面的应用 思想基础 生物的神经网络中，如人的视网膜中，存在着一种“侧抑制”现象，即一个神经细胞兴奋后，通过它的分支会对周围其他神经细胞产生抑制 借鉴上述思想，自组织网络能够对输入模式进行自组织训练和判断，并将输入模式分为不同的类型 1.2 网络类型 需要训练 自组织竞争网络 适用与具有典型聚类特性的大量数据的辨识 Kohunen网络 训练学习后使网络权值分布与输入样本概率密度分布相似 可以作为样本特征检测仪，在样本排序、样本分类及样本检测方面有广泛应用 对传网络（Counter Propagation Network） 在功能上用作统计最优化和概率密度函数分析 可用于图像处理和统计分析 神经认知机等 不需要训练 自适应共振理论（ART） 分类的类型数目可自适应增加 1.3 网络学习规则 格劳斯贝格(S．Grossberg)提出了两种类型的神经元模型：内星与外星，用以来解释人类及动物的学习现象 内星可以被训练来识别矢量 外星可以被训练来产生矢量 基本学习规则 内星学习规则 外星学习规则 科荷伦学习规则 1.3.1 内星与外星 1.3.2 内星学习规则 可以通过内星及其学习规则可训练某一神经元节点只响应特定的输入矢量P，它借助于调节网络权矢量W近似于输入矢量P来实现的 单内星中对权值修正的格劳斯贝格内星学习规则为 内星神经元联接强度的变化Δw1j与输出成正比的。 如果内星输出a被某一外部方式而维护高值时，通过不断反复地学习，趋使Δw1j逐渐减少，直至最终达到w1j＝pj，从而使内星权矢量学习了输入矢量P，达到了用内星来识别一个矢量的目的 另一方面，如果内星输出保持为低值时，网络权矢量被学习的可能性较小，甚至不能被学习 1.3.3 外星学习规则 外星网络的激活函数是线性函数。它被用来学习回忆一个矢量，其网络输入P也可以是另一个神经元模型的输出 外星被训练来在一层s个线性神经元的输出端产生一个特别的矢量A 对于一个外星，其学习规则为 与内星不同，外星联接强度的变化Δw是与输入矢量P成正比的 当输入矢量被保持高值，比如接近1时，每个权值wij将趋于输出ai值，若pj＝1，则外星使权值产生输出矢量 当输入矢量pj为0时，网络权值得不到任何学习与修正 1.3.4 科荷伦学习规则 科荷伦学习规则是由内星规则发展而来的 科荷伦规则 科荷伦学习规则实际上是内星学习规则的一个特例，但它比采用内星规则进行网络设计要节省更多的学习，因而常常用来替代内星学习规则 二、自组织网络 2.1 网络模型 2.2 竞争网络原理 2.3 网络训练 2.1 网络模型 网络结构 竞争网络由单层神经元网络组成，其输入节点与输出节点之间为全互联结。 因为网络在学习中的竞争特性也表现在输出层上，所以在竞争网络中把输出层又称为竞争层，而与输入节点相连的权值及其输入合称为输入层 2.1 网络模型 网络权值的类型 输入节点j到i的权值wij(i＝1，2…、s；j＝1，2…、r)，这些权值是通过训练可以被调整的 竞争层中互相抑制的权值wik(k＝1，2…、s)。这类权值固定不变，且满足一定的分布关系 是一种对称权值，即有wik＝wki 相同神经元之间的权值起加强的作用，即满足w11＝w11＝…＝wkk＞0，而不同神经元之间的权值相互抑制，对于k≠i有wij＜0 2.1 网络模型 网络工作方式 输入矢量经过网络前向传递 网络竞争 激活函数为硬限制二值函数 竞争网络的激活函数使加权输入和为最大的节点赢得输出为1，而其他神经元的输出皆为0(?) 权值调整（可以处于训练与工作期间） 竞争网络在经过竞争而求得获胜节点后，则对与获胜节点相连的权值进行调整 调整权值的目的是为了使权值与其输入矢量之间的差别越来越小，从而使训练后的竞争网络的权值能够代表对应输入矢量的特征 2.2 竞争网络原理 竞争网络解释 设网络的输入矢量为：P＝[ p1 p2 … pr]T 对应网络的输出矢量为：A＝[a1 a2 … as]T 由于竞争网络中含有两种权值，所以其激活函数的加权输入和也分为两部分：来自输入节点的加权输入和N与来自竞争层内互相抑制的加权输入和G。对于第i个神经元有 来自输入节点的加权输入和为 来自竞争层内互相抑制的加权输入和为 2.2 竞