回归模型的参数估计.pptx

第二节回归模型的参数估计

一、最小二乘估计（OLS）⒈选择最佳拟合曲线的标准从几何意义上说，样本回归曲线应尽可能靠近样本数据点。选择最佳拟合曲线的标准可以确定为：使总的拟合误差（即总残差）达到最小。用最小二乘法描述就是：所选择的回归模型应该使所有观察值的残差平方和达到最小。

⒉OLS的基本思路不同的估计方法可得到不同的样本回归参数和，所估计的也不同。理想的估计方法应使和的差即残差越小越好。因为可正可负，所以可以取最小，（选择平方的原因：介绍）即：

在离差平方和的表达式中，被解释变量的观测值和解释变量都是已知的，因此可以将看作是未知参数的函数。计算此函数对的一阶偏导数，可得：

得到：此方程组为正规方程组，解此方程组得：其中，

案例2.12.2课本p24、p2701EViews软件操作02

二、最小二乘估计的性质㈠参数估计式的评价标准⒈无偏性前提：重复抽样中估计方法固定、样本数不变、经重复抽样的观测值，可得一系列参数估计值。参数估计值的分布称为的抽样分布，其密度函数记为f()如果E()=称是参数的无偏估计式，是另一种方式产生的模型参数的估计量，抽样分布为，若的期望不是等于的真实值，则称是有偏的，偏倚为E()-，见下图

概率密度01偏倚02图2.603

⒉最小方差性（有效性）前提：样本相同、用不同的方法估计参数，可以找到若干个不同的估计式。有效性衡量了参数估计值与参数真值平均离散程度的大小。目标：努力寻求其抽样分布具有最小方差的估计式——最小方差准则，或称最佳性准则。见下图既是无偏的同时又具有最小方差的估计式，称为最佳无偏估计式。

概率密度图2.7

⒊一致性思想：当样本容量较小时，有时很难找到最佳无偏估计，需要考虑扩大样本容量（估计方法不变，样本数逐步扩大，分析性质是否改善）一致性：当样本容量n趋于无穷大时，如果估计式按概率收敛于总体参数的真实值，就称这个估计式是的一致估计式。limP(?-???)＝1渐进无偏估计式是当样本容量变得足够大时，其偏倚趋于零的估计式。见下图

概率密度

㈡高斯－马尔可夫定理由OLS估计式可以看出，可以用观测样本和唯一表示。因为存在样本抽样波动，OLS估计的是随机变量。OLS估计式是点估计式。在古典回归模型的若干假定成立的情况下，最小二乘估计是所有线性无偏估计量中的有效估计量。称OLS估计为“最佳线性无偏估计量”。

线性特征;无偏性;最小方差性一致性证明过程参见p30~32,也可从精品课程网站下载。结论：OLS估计式是BLUE。

㈢系数的估计误差与置信区间1、和1?b的概率分布其次，和1?b分别是iY的线性组合，因此、1?b的概率分布取决于Y。在?是正态分布的假设下，Y是正态分布，因此和1?b也服从正态分布，其分布特征（密度函数）由其均值和方差唯一决定。首先，由于解释变量iX是确定性变量，随机误差项i?是随机性变量，因此被解释变量iY是随机变量，且其分布（特征）与i?相同。

因此：),(~?222S2XXNsbb，),(~?22211sbb?iSXXnXN1?b和2?b的标准差分别为：=222/)?(iSXXSsb?=2221)?(iiSXXnXSsb

、随机误差项可以证明：总体方差2s的无偏估计量为2?22-=?neis2?的方差2s的估计在估计的参数2?b和1?b的方差和标准差的表达式中，都含有随机扰动项方差2s=)var(i?。2s又称为总体方差。由于2s实际上是未知的，因此2?b和1?b的方差与标准差实际上无法计算。由于随机项i?不可观测，只能从i?的估计——残差ie出发，对总体方差2s进行估计。

在总体方差2s的无偏估计量2?s求出后，估计的参数?b和1?b的方差和标准差的估计量分别是：的样本方差：=22?)?(VarsbS2XX的样本标准差：=2?)?(Ssb的样本方差：?=221?)?(inXVarsb的样本标准差：?=21)?(inXSb1?b1?b2?b2?bS2XXS2XXS2XX

⒊系数的置信区间见p34

方法相同，只是通过矩阵表示，参见p35~37

※五、极大似然法ML极大似然法（MaximumLikelihood