第四章线性系统参数估计最小二乘法.pdf

第四章 线性系统参数估计的最小二乘法 4.1 引言 最小二乘(Least Squares)法是用于参数估计的数学方法，它使数学模型在误差平方和最小的 意义上拟合实验数据。 1801 年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40 天的跟踪观测 后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用 皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。 时年24 岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥尔伯斯根据高斯计算出来 的轨道重新发现了谷神星。 高斯使用的最小二乘法的方法发表于 1809 年他的著作《天体运动论》中，而法国科学家勒 让德于 1806 年独立发现“最小二乘法”，但因不为时人所知而默默无闻。勒让德曾与高斯为谁 最早创立最小二乘法原理发生争执。 1829 年，高斯提供了最小二乘法的优化效果强于其他方法的证明，因此被称为高斯-马尔可 夫定理。此后 LS 法成了处理观测所得实验数据的有力工具。现在成为辨识的主要算法。 最小二乘辨识是一种一致的、无偏的、有效的方法 4.2 基本最小二乘方法 4.2.1 最小二乘曲线拟合 最小二乘技术提供给我们一个数学程序，通过它能获得一个在最小方差意义上与实验数据拟 合最好的模型。假定有一个变量Y，它与一个n维变量X=(x ,x ,…,x )是线性关系，即 1 2 n Y=θx +θx +…+θx (4.1) 1 1 2 2 n n 其中，θ=(θ , θ , …, θ)是一个参数集。在系统辨识中它们是未知的。我们希望通过不同时刻 1 2 n 对Y及X 的观测值来估计出它们的数值。 例如，在研究两个变量（x ，y ）之间的 4 关系时，通常的做法是取一个变量作为自 变量，另一个作为因变量。改变自变量可 3.5 (5,3.2) 得到相应的因变量。将所得到的一系列数 (6,3.3) 据对描绘在直角坐标系中，得到一系列的 3 (3,3.3) 点。若这些点落在一条直线附近，就可以 (4,2.8) 用一个直线方程来描述这个关系。设已得 2.5 (2,2.2) 到的一系列点分别为(1，1.8)，(2，2.2) ，(3， 3)，(4，2.8) ，(5，3.2) ，(6，3.3)， 2 直线方程为 y =a + a x (1,1.8) 0 1 1.5 1 1.5 2 2.5 3 3.5 4 4.5 5 5.5 6 使用(1，1.8)，(2，2.2)两个点得到的方 程为y =1.4 + 0.4x ；使用(1，1.8)，(6，3.3)两个点得到的方程为y =1.5 + 0.3x ，而使用 （3,3 ）和（6,3.3 ） 两个点得到的方程是 y=2.7+0.1x 。