svm支持向量机课件.ppt

PCA求解步骤 Step 1：样本中心化，使得 Step 2：求解中心化后的样本的协方差矩阵 Step 3：求解协方差矩阵的特征值和特征向量，其中最大特征值对应的特征向量即为主方向。 对应的特征向量 为主方向 * KPCA：基于核函数的非线性主成分分析 Step 1：样本中心化，使得 Step 2：求解中心化后的样本的协方差矩阵 Step 3：求解协方差矩阵的特征值和特征向量 不妨设所求的特征向量为： 则根据特征向量的定义，有： * 根据核函数的定义，有： 展开后，得到： 其中K为核函数对应的的Gram矩阵。考虑到其逆存在，故： 解该方程得到 即可得到特征空间中的主分量 样本在主方向的投影可表示为： * 利用PCA得到的主分量重建结果 利用KPCA得到的主分量重建结果 * KPCA与其它方法的对比 * KPCA的去噪功能（USPS） Patterns 7291 train 2007 test Size: 16 x 16 Linear PCA Kernel PCA * Kernel Fisher Discriminant Analysis Kernel K-Means Clustering Kernel Independent Component Analysis …… 3.6 核函数方法在其它方面的应用 * Parameters’ selection for Multi-Kernel Constructing Special Kernel for Special Applications Data Driven Kernel Construction 3.7 核函数方面的研究 * 问题： 1.如果已知特征映射 则该特征映射 对应的核函数是？ 2.给定两类样本：(0,0),(1,1);(1,0),(0,1) 求在核函数 导出的特征空间中两类 样本中心间的距离。 * SVM Statistic Learning Theory 支持向量机与统计学习理论 * 补 充 * * 1.统计学习理论对分类问题的描述 定义期望风险 ：输入输出样本对的联合分布 学习目标：从一组函数集 中求一个最优的函数 ，使得期望风险最小，即： 其中： * 问题：期望风险如何计算？ 令 则 ？ ERM原则一致性 * 经验风险小不等于实际风险小的例子 采用{sin(w·)}函数集中的函数进行逼近 * * 统计学习理论的三个里程碑定理： 1.遵循ERM原则的学习机满足什么条件就能使经验风险收敛到最小时实际风险也收敛到最小 2. 遵循ERM原则的学习机满足什么条件就能快速收敛 3. 遵循ERM原则的学习机满足什么条件就能快速收敛而且与要求解的问题无关 * OCCAM剃刀原则： 对于一种现象，能够用简单模型解释的，绝不用更复杂的模型解释。 优化目标：{f(x,w)}的复杂度尽可能小 约束条件： * OCCAM剃刀原则 结构复杂度最小化原则 * 如无必要，勿增实体 统计学习中对结构复杂度的定义：VC维。 VC维：如果存在h个样本能够被函数集中的函数按所有可能的 2h 种形式分开，则称函数集能够把h个样本打散；函数集的VC维就是它能打散的最大样本数目h. 问题：如何评估函数集的结构复杂度？ * 例：求解2维空间中超平面的VC维 解：a. 2维空间中超平面的VC维≥3 b. 2维空间中超平面的VC维4 * 引理：若两个样本点位于某线性分类平面的同侧，则连接这两个点的线段上的所有点也在该线性分类面的同侧。 * 关于VC维的补充说明： VC维是从函数分类能力的角度，定量地描述了函数集的结构复杂性。函数集的VC维越大，表明函数集的结构越复杂 n维超平面的VC维为n＋1，sin(?)函数集的VC维为无穷大 VC是Vapnik和Chervinenkis名字的首字母 * 一般来说，给定函数集，计算该函数集的VC维是相当困难的 * * 定理1：对于指示集中的所有函数，经验风险 和实际风险 至少以 的概率满足： 为VC维 为样本数 ：结构风险 * S* 经验风险Empirical risk 风险界限Bound on the risk h1 h* hn h S1 S* Sn 结构风险 Structural risk 统计学习理论中对学习机所面临的风险的分析 * * 在 维空间中， 为覆盖样本向量的超球半径，则满足条件 的分类超平面的VC维 有下面的界： 定理2： * 优化目标： 约束条件： * * VC维与可证伪理论 问题：如何区分科学理论与非科学理论？ 30年代，波普（K.Popper）提出了区分科学理