基于微分同胚优化极端学习机的人脸识别.PDF

第３４卷第４期　　　 计算机应用与软件 Ｖｏｌ３４Ｎｏ．４ ２０１７年４月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ａｐｒ．２０１７ 基于微分同胚优化极端学习机的人脸识别 李丽娜　闫德勤　楚永贺 （辽宁师范大学计算机与信息技术学院　辽宁大连 １１６０８１） 摘　要　　极端学习机（ＥＬＭ）以其快速高效和良好的泛化能力在模式识别领域得到了广泛应用。然而当前的 ＥＬＭ及其改进算法并没有充分考虑到隐层节点输出矩阵对极端学习机泛化能力的影响。通过实验发现激活函 数选取不当及数据维数过高将导致隐层节点输出值趋于零，使得输出权值矩阵求解不准，降低ＥＬＭ的分类性能。 为此，提出一种微分同胚优化的极端学习机算法。该算法结合降维和微分同胚技术提高激活函数的鲁棒性，克服 隐层节点输出值趋于零的问题。为验证所提算法的有效性使用人脸数据进行实验。实验结果表明所提算法具有 良好的泛化性能。 关键词　　极端学习机　激活函数　微分同胚 中图分类号　ＴＰ１８　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１７．０４．０２９ ＦＡＣＥＲＥＣＯＧＮＩＴＩＯＮＵＳＩＮＧＯＰＴＩＭＩＺＥＤＥＸＴＲＥＭＥＬＥＡＲＮＩＮＧ ＭＡＣＨＩＮＥＢＡＳＥＤＯＮＤＩＦＦＥＯＭＯＲＰＨＩＳＭ ＬｉＬｉ’ｎａ　ＹａｎＤｅｑｉｎ　ＣｈｕＹｏｎｇｈｅ （ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒａｎｄＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ，ＬｉａｏｎｉｎｇＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ，Ｄａｌｉａｎ１１６０８１，Ｌｉａｏｎｉｎｇ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｅｘｔｒｅｍｅｌｅａｒｎｉｎｇｍａｃｈｉｎｅ（ＥＬＭ）ｈａｓｂｅｅｎｗｉｄｅｌｙａｐｐｌｉｅｄｉｎｔｈｅｆｉｅｌｄｏｆｐａｔｔｅｒｎｒｅｃｏｇｎｉｔｉｏｎｆｏｒｉｔｓ ｅｆｆｉｃｉｅｎｔａｎｄｇｏｏｄｇｅｎｅｒａｌｉｚａｔｉｏｎａｂｉｌｉｔｙ．Ｈｏｗｅｖｅｒ，ｔｈｅｃｕｒｒｅｎｔＥＬＭａｎｄｉｔｓｉｍｐｒｏｖｅｄａｌｇｏｒｉｔｈｍｈａｖｅｎｏｔｃｏｎｓｉｄｅｒｅｄｔｈｅ ｅｆｆｅｃｔｏｆｈｉｄｄｅｎｌａｙｅｒｎｏｄｅｓ’ｏｕｔｐｕｔｍａｔｒｉｘｏｎｔｈｅｇｅｎｅｒａｌｉｚａｔｉｏｎａｂｉｌｉｔｙｏｆｅｘｔｒｅｍｅｌｅａｒｎｉｎｇｍａｃｈｉｎｅ．Ｔｈｒｏｕｇｈ ｅｘｐｅｒｉｍｅｎｔｓｗｅｆｉｎｄｔｈａｔｗｈｅｎｔｈｅａｃｔｉｖａｔｉｏｎｆｕｎｃｔｉｏｎｉｓｉｍｐｒｏｐｅｒｌｙｓｅｌｅｃｔｅｄａｎｄｔｈｅｄａｔａｓａｍｐｌｅｄｉｍｅｎｓｉｏｎｉｓｔｏｏｈｉｇｈ，ｉｔ ｗｉｌｌｒｅｓｕｌｔｉｎｏｕｔｐｕｔｖａｌｕｅｏｆｈｉｄｄｅｎｌａｙｅｒｎｏｄｅｔｅｎｄｉｎｇｔｏｚｅｒｏ．Ｉｔｃｏｍｅｓｔｏｍａｋｅｔｈｅｓｏｌｕｔｉｏｎｏｆｏｕｔｐｕｔｗｅｉｇｈｔｍａｔｒｉｘ ｉｎａｃｃｕｒａｔｅａｎｄｒｅｄｕｃｅｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎｐｅｒｆｏｒｍａｎｃｅｏｆＥＬＭ．Ｉｎｏｒｄｅｒｔｏｓｏｌｖｅｔｈｅｓｅｐｒｏｂｌｅｍｓ，ａｎｏｐｔｉｍｉｚｅｄｅｘｔｒｅｍｅ ｌｅａｒｎｉｎｇｍａｃｈｉｎｅａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｄｉｆｆｅｏｍｏｒｐｈｉｓｍｉｓｐｒｏｐｏｓｅｄ．Ｔｈｅａｌｇｏｒｉｔｈｍｃｏｍｂｉｎｅｓｔｅｃｈｎｉｑｕｅｓｏｆｄｉｆｆｅｏｍｏｒｐｈｉｓｍ ａｎｄｄｉｍｅｎｓｉｏｎａｌｉｔｙｒｅｄｕｃｔｉｏｎｔｏｉｍｐｒｏｖｅｔｈｅｒｏｂｕｓｔｎｅｓｓｏｆａｃｔｉｖａｔｉｏｎｆｕｎｃｔｉｏｎｓａｎｄｏｖｅｒｃｏｍｅｔｈｅｐｒｏｂｌｅｍｔｈａｔｔｈｅｏｕｔｐｕｔ ｖａｌｕｅｏｆｈｉｄｄｅｎｌａｙｅｒｎｏｄｅｓｔｅｎｄｓｔｏｚｅｒｏ．Ｉｎｏｒｄｅｒｔｏｅｖａｌｕａｔｅｔｈｅｖａｌｉｄｉｔｙｏｆｔｈｅｐｒｏｐｏｓｅｄａｌｇｏｒｉｔｈｍ，ｆａｃｅｄａｔａｉｓｕｓｅｄｔｏ ｉｍｐｌｅｍｅｎｔｅｘｐｅｒｉｍｅｎｔｓ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｐｒｏｐｏｓｅｄａｌｇｏｒｉｔｈｍｈａｓａｇｏｏｄｇｅｎｅｒａｌｉｚａｔｉｏｎｐｅｒｆｏｒｍａｎｃｅ． Ｋｅｙｗｏｒｄｓ　　Ｅｘｔｒｅｍｅｌｅａｒｎｉｎｇｍａｃｈｉｎｅ　Ａｃｔｉｖａｔｉｏｎｆｕｎｃｔｉｏｎ