机器学习降维算法课件.ppt

* * * * * * * * * * * * 讲授人：XXX 时间：2017.3.31 机器学习 降维算法讲解 延迟符号 机器学习降维算法ppt课件全文共30页，当前为第1页。 什么是降维？ 降维就是这样一个过程，在降低数据集维度的同时，保证其中包含的主要信息是相似的（就是保证有效信息不要丢失）。降维技术最典型的应用就是在机器学习问题中，进行有效的特征选择，以此获得更好的分类、回归效果。 延迟符号 机器学习降维算法ppt课件全文共30页，当前为第2页。 为什么要降维？ 延迟符号 降维？ 在机器学习中，如果特征值(也可称之为维度，或feature)过多，会引发维度灾难。维度灾难最直接的后果就是过拟合现象，进而导致分类识别的错误，因此我们需要对所提的特征进行降维处理。 图 基本模式识别过程 降维后数据应该包含更多的信息？ 降维后会损失多少信息？ 降维后对分类识别效果有多大影响？ 问题 机器学习降维算法ppt课件全文共30页，当前为第3页。 降维的好处 （1）进行数据压缩，减少数据存储所需空间以及计算所需时间。 （2）消除数据间的冗余，以简化数据，提高计算效率。 （3）去除噪声，提高模型性能。 （4）改善数据的可理解性，提高学习算法的精度。 （5）将数据维度减少到2维或者3维，?进行可视化。 延迟符号 机器学习降维算法ppt课件全文共30页，当前为第4页。 延迟符号 Contents 降维方法 01 02 特征选择 Feature Selection 选择有效的特征子集，即去掉不相关或冗余的特征。特征选择后留下的特征值的数值在选择前后没有变化。也就是说，特征选择后的特征是原来特征的一个子集。 特征抽取是指改变原有的特征空间，并将其映射到一个新的特征空间。也就是说，特征抽取后的新特征是原来特征的一个映射。 特征抽取 Feature Extraction* 机器学习降维算法ppt课件全文共30页，当前为第5页。 降维算法可以根据所采用策略的不同而进行不同的分类 ? ? 降维算法分类 延迟符号 机器学习降维算法ppt课件全文共30页，当前为第6页。 延迟符号 主成分分析 (PCA) PCA是principal component analysis 的缩写，即主成分分析。此方法目标是找到数据中最主要的元素和结构，去除噪音和冗余，将原有的复杂数据降维，揭露出隐藏在复杂数据背后的简单结构。 主成分分析就是试图在力保数据信息丢失最少的原则下，对这种多变量的数据表进行最佳综合简化。这些综合指标就称为主成分,也就是说，对高维变量空间进行降维处理, 从线性代数角度来看，PCA目标是找到一组新正交基去重新描述得到的数据空间，这个维度就是主元。 机器学习降维算法ppt课件全文共30页，当前为第7页。 向量的表示及基变换 A(3,2) 延迟符号 机器学习降维算法ppt课件全文共30页，当前为第8页。 去中心化 现在问题来了：如果我们必须使用一维来表示这些数据，又希望尽量保留原始的信息，你要如何选择？ 例题： 延迟符号 机器学习降维算法ppt课件全文共30页，当前为第9页。 下面是三维空间中的一组数据，很明显，数据的分布让我们很容易就能看出来主成分的轴（简称主轴）的大致方向。下面的问题就是如何通过数学计算找出主轴的方向。来看这张图： 延迟符号 机器学习降维算法ppt课件全文共30页，当前为第10页。 1. 给定一组数据： 2. 将其中心化后表示为： 3. 中心化后的数据在第一主轴u1方向上分布散的最开，也就是说在u1方向上的投影的绝对值之和最大（也可以说方差最大），计算投影的方法就是将x与u1做内积，由于只需要求u1的方向，所以设u1是单位向量。 也就是最大化下式： 也即最大化： 两个向量做内积可以转化成矩阵乘法： 所以目标函数可以表示为： 推导过程： 延迟符号 机器学习降维算法ppt课件全文共30页，当前为第11页。 所以目标函数最后化为： 目标函数和约束条件构成了一个最大化问题： 延迟符号 机器学习降维算法ppt课件全文共30页，当前为第12页。 构造拉格朗日函数： 对u1求导: 显然，u1即为XXT特征值 对应的特征向量！ XXT的所有特征值和特征向量都满足上式，那么将上式代入 目标函数表达式即可得到 所以，如果取最大的那个特征值 ，那么得到的目标值就最大。 延迟符号 机器学习降维算法ppt课件全文共30页，当前为第13页。 去均值,方差归一化(预处理的实质是将坐标原点移到样本点的中心点) 求特征协方差矩阵 求协方差矩阵的特征值和特征向量 将特征值按照从大到小的顺序排序,选择其中最大的 k 个