32多元回归模型的参数估计.doc

§3.2 多元线性回归模型的估计 同一元回归模型的估计一样，多元回归模型参数估计的任务仍有两项：一是求得反映变量之间数量关系的结构参数的估计量（j=1,2,…,k）；二是求得随机误差项的方差估计。模型(3.1.1)或(3.1.2)在满足§3.1所列的基本假设的情况下，可以采用普通最小二乘法、最大或然法或者矩估计法估计参数。 一、普通最小二乘估计 随机抽取被解释变量和解释变量的n组样本观测值： 如果样本函数的参数估计值已经得到，则有： i=1,2,…,n (3.2.1) 那么，根据最小二乘原理，参数估计值应该是下列方程组的解 (3.2.2) 其中 (3.2.3) 于是得到关于待估参数估计值的正规方程组： (3.2.4) 解该（k+1）个方程组成的线性代数方程组，即可得到(k+1)个待估参数的估计值。 （3.2.4）式的矩阵形式如下： 即： （3.2.5） 由于满秩，故有 （3.2.6） 将上述过程用矩阵表示如下： 根据最小二乘原理，需寻找一组参数估计值，使得残差平方和 最小。即参数估计值应该是下列方程组 的解。求解过程如下： 即得到 于是，参数的最小二乘估计值为： 例3.2.1：在例2.1.1的家庭收入-消费支出例中， 可求得 于是 对于(3.2.4)式的正规方程组 将代入得 于是 （3.2.7） 或 j=1,2,…,k （3.2.7）是多元线性回归模型正规方程组的另一种写法。由此可得出多元回归分析中的样本回归函数的离差形式： i=1,2, …,n （3.2.8） 其矩阵形式为： （3.2.9） 其中，，， 容易推出，在离差形式下，参数的最小二乘估计结果为： （3.2.10） （3.2.11） 最后，可以证明，随机误差项(的方差的无偏估计量为①： （3.2.12） *二、最大或然估计 对于多元线性回归模型(3.1.1)，由于 ～ 所以 ～ 其中 的随机抽取的n组样本观测值的联合概率为： (3.2.13) 这就是变量的或然函数。对数或然函数为： （3.2.14） 对或然函数求极大值，即对对数或然函数求极大值，也就是对 求极小值，就可以得到一组参数估计量，即为参数的最大或然估计 显然，其结果与参数的普通最小二乘估计是相同的。 *三、矩估计（Moment Method, MM） 普通最小二乘估计是通过得到一个关于参数估计值的正规方程组并对它进行求解而完成的。正规方程组 (3.2.4)或（3.2.5）可以从另外一种思路来导出。 对原总体多元线性回归模型 的两边分别左乘，即得到： 或 对方程的两边求期望，有： （3.2.15） 这里用到了解释变量与随机扰动项不相关的基本假设。 （3.2.15）