大规模线性支持向量机的牛顿法..ppt

大规模线性支持向量机的牛顿法 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 大规模线性支持向量机 大规模问题：样本数和/或特征数非常大，数据矩阵常有稀疏性，如文本分类问题 线性支持向量机：线性核 一个核心问题：模型的求解效率 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. L2-SVM Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 模型（1）的性质 是个无约束优化问题 f(·)是个分段二次函数，且为严格凸的。从而（1）是个严格凸的无约束问题，具有唯一的最优解 与LS-SVM的关系：当I(β)={1,2,…,m}即所有约束指标集时，（1）就是LS-SVM。因此LS-SVM可看成是（1）的一个特殊情况 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 模型（1）的性质 f(·)是一阶连续可微的，其梯度为 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 模型（1）的求解 有限牛顿法（Mangasarian，2002） 改进的有限牛顿法（Keerthi，2005） Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 有限牛顿法 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 广义Hesee矩阵 模型（1）的目标函数仅是一阶连续可微的，但在0点，它的二阶导数不存在。因此Hesse矩阵不存在。但注意到它几乎处处二阶可微（扣除0点都是二阶连续可微的），因此我们可以用它的广义Hesse矩阵作为其Hesse矩阵 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 模型（1）的广义Hesse矩阵 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 有限牛顿法的性质 算法1称为有限牛顿法是因为该算法能在有限步内终止 算法1给出了大规模线性支持向量机的一个高效求解算法，比SMO类型的算法还高效 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 改进的有限牛顿法 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. L2-SVM-MFN与L2-SVM-FN 采用共轭梯度法求解 采用精确的一维搜索 采用一些启发式规则提高算法效率 Eva