第一章数值最优化方法建模与数学预备知识讲解.ppt

以上我们看到方向导数正负决定了函数升降，而升降速度的快慢由方向导数绝对值大小来决定，绝对值越大升降速度越大。因此又将方向导数 称为f(Z) 在 处沿方向P的变化率。 由于 （β为方向P与 的夹角） 为使 取最小值，β应取 ，即P= - ，可见负梯度方向即为函数的最速下降方向；同样梯度方向即为函数的最速上升方向。 这样我们就说明了性质二。 上升方向 变化率为0方向 下降方向 - 我们有结论： 函数在与其梯度正交的方向上变化率为0 函数在与其梯度成锐角的方向上是上升的 函数在与其梯度成钝角的方向上是下降的 解： 由于 则函数在 处的最速下降方向是 这个方向上的单位向量是： 例1 试求目标函数 在点 处的最速下降方向，并求沿这个方向移动一个单位长度后新点的目标函数值。 几个常用的梯度公式： 新点是 故 ② 故 ① ② 解：① 例2：求下列函数的梯度： 三、Hesse矩阵： 下面我们来考察多元函数 关于X的二阶导数。首先定义向量变量值函数的导数： 定义：设 如果g（x）的所有分量 在 点均可微，则向量值函数g（x）在 处称为可微。 根据前面多元函数定义，若g（x）在点 X0 处可微，则对任意n维向量P均有： 因为向量的极限是通过它所有分量的极限来定义的。则上式等价于： 从而由上面（8）可得： 其中： 称之为向量值函数g（x）在 处的导数，也称向量值函数g（x）在点 处的Jacobi矩阵。 设m=n。且 其中 为n元函数，有二阶连续偏导数。 这就是多元函数f（X） 关于X的二阶导数，称为 f（X） 的Hessian矩阵。 多元函数的一阶导数即梯度 。二阶导数即Hesse阵 。 这两个概念在最优化中是最常用的。 在高等数学中我们已经证明过当f（X）的所有二阶偏导数连续时，有 j=1，2……n 因此在这种情况下，Hesse矩阵是对称的。 例：求目标函数f（X）= 的梯度和Hesse矩阵。 解：因为 故Hesse阵为： 又因为： 则 下面几个Hesse矩阵公式是今后常用到的： （1） 则 （2） 则 （单位阵） （3） Q对称。 则 （4）若 其中f： 则： 证明（4）： 对t求导，根据多元函数复合函数求导公式即得第一式。 再对t求一次导数有： min 即 问题追求的目标是圆柱体表面积最小。即 则得原问题的数学模型： 利用在微积分学中所学的Lagrange乘子法可求解本问题 分别对r、h、λ求偏导数，并令其等于零，有: 即 此时圆柱体的表面积为 例2. 多参数曲线拟合问题 已知两个物理量x和y之间的依赖关系为: 其中 和 待定参数,为确定这些参数,对x、 y测 解:很显然对参数 和 任意给定的一组数值,就由上式确定了 y 关于 x 的一个函数关系式,在几何上它对应一条曲