求解非凸最小化问题的谱尺度MBFGS方法的中期报告.docx

求解非凸最小化问题的谱尺度MBFGS方法的中期报告 谱尺度MBFGS方法是一种用于求解非凸最小化问题的算法。该算法基于BFGS方法，但使用了谱尺度技术来解决非凸性问题。在这篇中期报告中，我们将介绍该算法的基本原理、实现细节以及初步实验结果。 一、算法原理 传统的BFGS方法是一种拟牛顿法，其思想是通过不断逼近目标函数的牛顿方向和牛顿步长来寻找最优解。然而，对于非凸问题，传统BFGS方法可能会卡在局部最优解中。谱尺度技术可以帮助我们解决这个问题。 谱尺度MBFGS方法的核心思想是使用谱尺度技术对BFGS矩阵进行预处理，从而使其更适合非凸问题。在具体实现过程中，我们首先计算目标函数的Hessian矩阵的特征值，并将其加到BFGS矩阵的对角线上。这一步相当于在BFGS矩阵中加入了谱信息，从而更准确地反映了目标函数的性质。然后，我们使用通常的BFGS公式更新BFGS矩阵。需要注意的是，为了防止矩阵过度稠密，我们需要使用截断技术来限制特征值的数量。 二、实现细节 在实现谱尺度MBFGS方法时，需要特别关注以下几个问题： 1. 特征值的计算：我们使用迭代方法计算目标函数Hessian矩阵的特征值。具体来说，我们使用幂迭代法来计算最大的特征值和相应的特征向量，然后使用位移技术来计算第二个最大的特征值，依此类推。 2. 矩阵的更新：和传统的BFGS方法类似，我们需要定期更新BFGS矩阵。我们使用了L-BFGS算法中的启发式参数来确定更新的时间间隔。具体来说，我们每迭代40步就进行一次矩阵更新，每次保留最近的10个BFGS矩阵，使用这些矩阵的平均值来更新当前矩阵。 3. 截断技术：为了防止矩阵过度稠密，我们需要使用截断技术来限制特征值的数量。我们选择保留最大的20个特征值，然后将其余的特征值设为零。 三、实验结果 我们使用了标准的非凸优化问题集合来测试谱尺度MBFGS方法的性能。初步的实验结果表明，该算法比传统的BFGS方法在非凸问题上具有更好的性能。我们将在接下来的工作中进一步测试该算法的性能，并与其他一些最新的非凸优化算法进行比较。