4 无约束最优化方法.ppt

故有 [ -g(1) + ?(0)S(0) ]T g(2) = 0 （6） 因为S(0)和S(1)共轭，所以有 [S(0) ]T[ g(2) － g(1) ] = 0 因为 [S(0) ]T g(1) = 0 所以 [S(0) ]T g(2) = 0 即 g(2) 与g(0)正交。 所以 [g(0) ]T g(2) = 0 由式（6）得 [g(1) ]T g(2) = 0 可见， g(0)、g(1) 、g(2)构成一个空间正交系。 3）在g(0)、g(1)、g(2)构成的空间正交系中求与S(0)及S(1)均共轭的方向S(2)，以此作为下一步迭代计算的搜索方向。仍取S(2)为g(0)、g(1)、g(2) 的线性组合，即 S(2) = -g(2) + ?(1) g(1) + ?(0) g(0) 其中， ?(1) 、 ?(0) 为待定常数，可以利用共轭方向与梯度之间的关系求得。 [S(2) ]T[ g(1) － g(0) ] = 0 [S(2) ]T[ g(2) － g(1) ] = 0 即 [-g(2) + ?(1) g(1) + ?(0) g(0) ]T [ g(1) － g(0) ] = 0 [-g(2) + ?(1) g(1) + ?(0) g(0) ]T [ g(2) － g(1) ] = 0 所以 ?(1)[g(1)]Tg(1) - ?(0) [ g(0)]T g(0) ] = 0 -[g(2)]T g(2) - ?(1)[g(1)]Tg(1) = 0 令 ?(1) = - ?(1) 得 ?(1) = - ?(1) = [g(2)]T g(2)/ [g(1)]Tg(1) = ||g(2)||2 / ||g(1)||2 ?(0) = ?(1) [g(1)]T g(1)/ [g(0)]Tg(0) = - ?(1) ?(0) 因此 S(2) = -g(2) + ?(1) g(1) + ?(0) g(0) = -g(2) - ?(1) g(1) - ?(1) ?(0) g(0) = -g(2) + ?(1) [- g(1) - ?(0) g(0) ] = -g(2) + ?(1) S(1) 故 S(2) = -g(2) + ||g(2)||2 / ||g(1)||2 S(1) 再沿S(2) 进行一维搜索，得 X(3) = X(2) + ?(2) S(2)，如此继续下去，可以求得共轭方向的递推公式为 S(k+1) = -g(k+1) + ||g(k+1)||2 / ||g(k)||2 S(k) (k = 0, 1, 2, …, n-1) 沿着这些共轭搜索方向一直搜索下去，直到最后迭代点处梯度的模小于给定的允许值为止。若目标函数为非二次函数，经n次搜索还未达到最优点时，则以最后得到的点作为初始点，重新计算共轭方向，一直到满足精度要求为止。 共轭梯度法的计算步骤及算法框图 1）给定初始点X(0)及收敛精度?0，k=0； 2）取 S(0) = －▽f (X(0) )； 3） X(k+1) = X(k) + ?(k) S(k) ( k = 0, 1, 2, …, n-1), ?(k) 为一维搜索所得的最佳步长。 4） 判断 || ▽f (X(k+1) ) || ≤? ? 若满足，则输出 X * = X(k+1) 和 f * = f (X * ) 否则，转下一步； 5） 判断 k+1=n ? 若 k+1=n ，令X(0) = X(k+1) ，转 2）； 若 k+1n ，则计算