ELM-Chinese-Brief(极限学习机).pdf

1  什么是超限学习机  Guang‐Bin Huang  School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore  egbhuang@.sg   1. 摘要            近年来，超限学习机（Extreme Learning Machine, ELM）作为一种新兴的机器学习 方法，在全世界许多研究者的不断研究下，已经成为了一个热门研究方向。超限学习 机主要有以下四个特点。（1）超限学习理论探讨了一个 60 年来在神经网络、机器学 习和神经科学领域悬而未决的问题：在学习过程中隐层节点/神经元是否需要调整。与 常识和传统神经网络不同，该理论证明，对于大多数神经网络和学习算法（如隐层激 活为函数傅里叶级数，生物学习等），隐层节点/神经元不需要迭代式的调整，而早期 工作并没有提供随机隐层节点前馈神经网络的理论基础。（2 ）超限学习机既属于通用 单隐层前馈网络，又属于多隐层前馈网络（包括生物神经网络）。（3 ）超限学习机的 相同构架可用作特征学习，聚类，回归和（二类/ 多类）分类问题。（4 ）相比于超限 学习机，支持向量机（SVM ）和最小二乘支持向量机（LS‐SVM ）趋向于得到次优解。 支持向量机和最小二乘支持向量机也没考虑多层前馈网络中隐层的特征表征。    2. 介绍           正如 Huang 等[6]指出：“一般来讲，‘超限’指超过传统人工学习方法的局限， 并向类脑学习靠拢。超限学习机的提出，是为了打破传统人工学习方法和生物学习机 制之间的屏障。‘超限学习机’基于神经网络泛化理论，控制理论，矩阵理论和线性 系统理论，代表了一整套不需要调整隐层神经元的机器学习理论。”           为了更清楚的理解其本质，我们从其哲学观，理论，网络结构，网络神经元类型， 学习目标和算法等角度分析超限学习机。    3.  超限学习机的信念、哲学观和目标           超限学习机的研究开始于我们对生物学习和神经网络泛化理论[14]的直观思考。进 一步来讲，超限学习机发展的基础是 Frank  Rsenblatt 的多层“感知机”[9]，支持向量 机[15]，最小二乘支持向量机[16]，傅里叶级数，线性系统，数值方法和矩阵理论等， 以及必要的衍生。                                                               1 Hao‐Qi Sun 摘要翻译自 G.‐B.  Huang,  “What  are  Extreme  Learning  Machines?  Filling the  Gap  between Frank Rosenblatts Dream and John von Neumanns Puzzle,”Cognitive Computation, vol. 7,  pp. 263‐278, 2015.           Frank  Rosenblatt[9]相信多层前馈网络（感知机）可以让电脑“走路、说话、看东 西、写东西、繁衍自己并拥有自我存在的意识”。Minsky 和Papert[17]不相信感知机有 这样的学习能力，因为没有隐层的感知机甚至无法学习简单的抑或问题。类似这样的 反例让许多研究者对人工神经网络望而却步，并导致了 1970 年代的“人工智能之冬”。 根据我们的理解，Rosenblatt 的梦想和 Minsky 的反例之间蕴含着一个值得深思的道理。 Rosenblatt 并不能在神经网络研究之初给出一个高效的学习算法。Minsky 和 Papert[17] 使用的是被认为是两层感知机的，有输入输出层但没有隐层的前馈网络。但是实际上， 一个有输入输出层但没有隐层的前馈网络就好像一个“大脑”，它有输入层（眼睛， 鼻子等）和输出层（肌肉等），却没有“中枢神经元结构”。很明显，这样的 “大脑” 是一个没有任何“学习和认知”能力的空壳。尽管如此，Rosenblatt 和 Minsky