数值分析 第6章.ppt

解矛盾方程组例题： 第六章 ??最小二乘法与曲线拟合 §6.0 问题的提出 §6.1 用最小二乘法求解矛盾方程组 §6.2 多项式拟合 如果实际问题要求解在[a,b]区间的每一点都“很好地” 逼近f(x)的话，运用插值函数有时就要失败。另外，插值所需的数据往往来源于观察测量，本身有一定的误差。要求插值曲线通过这些本身有误差的点，势必使插值结果更加不准确。 如果由试验提供的数据量比较大，又必然使得插值多项式的次数过高而效果不理想。 §6.0 问题的提出 从给定的一组试验数据出发，寻求函数的一个近似表达式y=?(x)，要求近似表达式能够反映数据的基本趋势而又不一定过全部的点(xi,yi)，这就是曲线拟合问题，函数的近似表达式y=?(x)称为拟合曲线。本章介绍用最小二乘法求拟合曲线。 §6.1 用最小二乘法求解矛盾方程组 一、矛盾方程组的定义 设线性方程组 或写为 其矩阵形式为 当方程组的系数矩阵合增广矩阵的秩不相等时，方程组无解，此时方程组称为矛盾方程组。对于rankA＝n（A的秩为n）的矛盾方程组（Nn），我们寻求其最小二乘意义下的解。 二、用最小二乘法求解矛盾方程组 1.最小二乘原则 由于矛盾方程组的精确解不存在，我们转而寻求其某种意义下，即最小二乘意义下的解。 令 称 为偏差。 达到最小值，这一条件称为最小二乘原则。 工程实际中的许多问题都可以归结为矛盾方程组，实际中需要寻求矛盾方程组的一组解，以使得偏差的绝对值之和 尽可能地小。为了便于分析 计算和应用，常采用使偏差的平方和 按照最小二乘原则来选择未知数x1,x2,…,xn的一组取值的方法称为求解矛盾方程组的最小二乘法。符合条件的一组取值称为矛盾方程组的最小二乘解。 把Q看成是n个自变量x1,x2,…,xn的二次函数，记为Q＝f(x1,x2,…,xn)，因此，求矛盾方程组的最小二乘解就是求二次函数Q＝f(x1,x2,…,xn)的最小值点。 问题：二次函数Q＝f(x1,x2,…,xn)是否存在最小值？若最小值存在，如何求出该最小值点？ 2.最小二乘解的存在唯一性 引理1：设n元实函数f(x1,x2,…,xn)在点P0(a1,a2,…,an)的某个邻域内连续，且有一阶及二阶连续的偏导数，如果 (1) (2)矩阵 是正（负）定矩阵，则f(a1,a2,…,an)是n元实函数f(x1,x2,…,xn)的极小（大）值。 引理2：设非齐次线性方程组 的系数矩阵A=(aij)m×n，若rankA=n，(m≥n)则 (1)矩阵ATA是对称正定矩阵； (2)n阶线性方程组 有唯一的解。 证明：（1）矩阵ATA显然是对称矩阵。 设齐次线性方程组 因为rankA=n，故齐次方程组有唯一零解。因此，对于任意的 ，有 ，从而 故矩阵ATA是对称正定矩阵。 (2)因为矩阵ATA是正定矩阵，故rank(ATA)=n，从而线性方程组 有唯一的解。 证毕 定理：设矛盾方程组的系数矩阵的秩为n，则二次函数 一定存在最小值。 证明：因为Q是x1,x2,…,xn的二次函数，故Q不仅是连续函数，且有连续的一阶及二阶偏导数。 因为 引理2说明,在条件RankA=n下,无论线性方程组Ax=b是否有解,构造的n阶方程组ATAx=ATb一定有唯一解。 故 令 即 （*） 因为rankA=n，故由引理2知，上式有唯一解。设解为x1=a1, x2=a2,…, xn=an，记为点P0(a1,a2,…,an)，即二元函数Q存在点P0，使 。故满足引理1的条件（1）。 因为 故 由引理2知，当rankA=n时，矩阵M是对称正定阵，M满足引理1的条件（2），故由引理1知，二次函数Q存在极小值。 又因方程组（*）式有唯一解，故Q存在的极小值就是最小值，线性方程组（*）式的解就是最小值点。 证毕 Remark1：线性方程组（*）式称为正则方程组。 Remark2：该定理说明，只要矛盾方程组的系数矩阵A的秩rankA=n，则 （1）矛盾方程组的最小二乘解存在； （2）正则方程组有唯一解，此解就是矛盾方程组的最小二乘解。 3.最小二乘法解矛盾方程组 计算步骤： （1）判断方程组的秩是否满足rankA=n？ （2）写出正则方程组； （3）求解正则方程组，其解就是矛盾方程组的最小二乘解。 一、曲线拟合模型 确定曲线的类型：一般选取简单的低次多项式。 定义：依据某种标准选择一条“最好”的简单曲线作为一组离散数据 的连续模型。 §6.2 多项式拟合 求一个次数不高于n－1次的多项式： （其中a0,a1,…,am待定），使其