极限学习机原理介绍.pdf

极限学习机(Extreme Learning Machine,ELM) 一，ELM 概要 极限学习机是一种针对单隐含层前馈神经网络(Single-hidden Layer Feedforward Neural Network, SLFN)的新算法。相对于传统前馈神经网络训练速度 慢，容易陷入局部极小值点，学习率的选择敏感等缺点，ELM 算法随机产生输入 层与隐含层的连接权值及隐含层神经元的阈值，且在训练过程中无需调整，只需 要设置隐含层神经元的个数，便可以获得唯一的最优解。与之前的传统训练方法 相比，ELM 方法具有学习速度快，泛化性能好等优点。 二，ELM 概述 传统的典型单隐含层前馈神经网络结构如下图一所示，由输入层，隐含层和 输出层组成，输入层与隐含层，隐含层与输出层神经元间全连接。其中，输入层 有n 个神经元，对应n 个输入变量；隐含层有l 个神经元；输出层有m 个神经元， 对应m 个输出变量。在不失一般性的情况下，设输入层与隐含层间的连接权值 W 为 w11 w12 ... w1n    w w ... w W  21 22 2n   ... ... ... ...  (1)   w w ... w  l1 l2 ln ln w 其中， 表示输入层第i 个神经元与隐含层第j 个神经元的连接权值。 ji 设隐含层与输出层间的连接权值 为 11 12 ... 1m     21 22 ... 2m   ... ... ... ...  (2)   l1 l2 ... lm lm  其中， 表示隐含层第j 个神经元与输出层第k 个神经元间的连接权值。 jk 设隐含层神经元的阈值b 为 b   1   b 2 b     (3)    b  l l1 设具有Q 个样本的训练集输入矩阵X 和输出矩阵Y 分别为 x11 x12 ... x1Q  y11 y12 ... y1Q    