一类不可微优化算法及在线性分类问题中的应用的开题报告.pdf

一类不可微优化算法及在线性分类问题中的应用的

开题报告

题目：一类不可微优化算法及在线性分类问题中的应用

研究背景和意义：

在机器学习和数据挖掘领域中，优化算法是经常使用的工具之一。

线性分类问题是一种广泛应用的问题，如支持向量机（SVM）等。在求解

这些问题时，常常会使用梯度下降等可微优化算法。然而，对于一些特

殊的非凸问题，这些算法可能无法寻找到全局最优解。因此，需要研究

一类不可微优化算法，在这些算法中，可避免落入局部最优解，从而提

高模型的准确性和泛化能力。

具体研究内容：

（1）研究不可微优化算法的基本原理和算法特点，包括随机梯度下

降法（SGD）、随机坐标下降法（SCD）等。

（2）探究不可微优化算法的收敛性和稳定性，比较不可微优化算法

与可微优化算法的优劣之处。

（3）在线性分类问题中应用不可微优化算法，通过对比实验进行性

能评估，并比较与SVM等算法的效果。

预期成果：

（1）深入理解不可微优化算法的原理和特点，掌握其实现过程与性

能评估方法。

（2）在线性分类问题中应用不可微优化算法，探究其在解决此类问

题中的优越性。

（3）撰写研究论文，发表在相关学术期刊上。

计划进度：

第一阶段（1个月）：研究不可微优化算法基本原理和算法特点。

第二阶段（2个月）：探究不可微优化算法的收敛性和稳定性，比

较不可微优化算法与可微优化算法的优劣之处。

第三阶段（3个月）：在线性分类问题中应用不可微优化算法，完

成实验并进行性能评估。

第四阶段（1个月）：撰写研究论文，发表在相关学术期刊上。

参考文献：

[1]Shalev-ShwartzS,TewariA.Stochasticmethodsfornon-

smoothoptimization[M].SocietyforIndustrialandAppliedMathematics,

2014.

[2]DaiW,LiaoL,ZhangT.Efficientandprovablenon-convex

optimizationwithstochasticgradientdescent[C]//Advancesinneural

informationprocessingsystems.2018:771-781.

[3]YuT,LiY,LiH.Sparselogisticregressionvianonconvex

optimization[J].IEEETransactionsonNeuralNetworksandLearning

Systems,2019,30(12):3562-3574.

[4]HsiehCJ,SustikMA,DhillonIS,etal.Sparsenon-negative

matrixfactorizationvianon-convexoptimization[C]//Proceedingsofthe

24thinternationalconferenceonMachinelearning.ACM,2007:369-376.