回归模型的参数估计.ppt

第二节 回归模型的参数估计 一、最小二乘估计（OLS） ⒈选择最佳拟合曲线的标准 从几何意义上说，样本回归曲线应尽可能靠近样本数据点。 选择最佳拟合曲线的标准可以确定为： 使总的拟合误差（即总残差）达到最小。 用最小二乘法描述就是：所选择的回归模型应该使所有观察值的残差平方和达到最小。 ⒉OLS的基本思路 不同的估计方法可得到不同的样本回归参数 和 ，所估计的 也不同。 理想的估计方法应使 和 的差即残差 越小越好。 因为 可正可负，所以可以取 最小， （选择平方的原因：介绍）即： ⒊估计过程 在离差平方和的表达式中，被解释变量 的观测值和解释变量 都是已知的，因此可以将看作是未知参数 的函数。计算此函数对的一阶偏导数，可得： 得到： 此方程组为正规方程组，解此方程组得： 其中， 案例2.12.2 课本p24、p27 EViews软件操作 二、最小二乘估计的性质 ㈠参数估计式的评价标准 ⒈无偏性 前提：重复抽样中估计方法固定、样本数不变、经重复抽样的观测值，可得一系列参数估计值。参数估计值 的分布称为 的抽样分布，其密度函数记为f( ) 如果 E( )= 称 是参数 的无偏估计式， 是另一种方式产生的模型参数的估计量，抽样分布为 ，若 的期望不是等于 的真实值，则称 是 有偏的，偏倚为 E( )- ，见下图 ⒉最小方差性（有效性） 前提：样本相同、用不同的方法估计参数，可以找到若干个不同的估计式。 目标：努力寻求其抽样分布具有最小方差的估计式——最小方差准则，或称最佳性准则。见下图 有效性衡量了参数估计值与参数真值平均离散程度的大小。 既是无偏的同时又具有最小方差的估计式，称为最佳无偏估计式。 ⒊一致性 思想：当样本容量较小时，有时很难找到最佳无偏估计，需要考虑扩大样本容量 （估计方法不变，样本数逐步扩大，分析性质是否改善） 一致性：当样本容量n趋于无穷大时，如果估计式 按概率收敛于总体参数的真实值，就称这个估计式 是 的一致估计式。 limP(? - ???)＝1 渐进无偏估计式是当样本容量变得足够大时，其偏倚趋于零的估计式。 见下图 ㈡高斯－马尔可夫定理 由OLS估计式可以看出， 可以用观测样本 和 唯一表示。 因为存在样本抽样波动，OLS估计的 是随机变量。 OLS估计式是点估计式。 在古典回归模型的若干假定成立的情况下，最小二乘估计是所有线性无偏估计量中的有效估计量。称OLS估计为“最佳线性无偏估计量”。 ⒈线性特征; ⒉无偏性; ⒊最小方差性 ⒋一致性 证明过程参见p30~32,也可从精品课程网站下载。 结论：OLS估计式是BLUE。 ㈢系数的估计误差与置信区间 ⒊系数的置信区间 见p34 四、多元线性回归模型的参数估计 方法相同，只是通过矩阵表示，参见p35~37 ※五、极大似然法ML 极大似然法（ Maximum Likelihood, ML） ，也称最大似然法，是不同于最小二乘法的另一种参数估计方法，是从最大或然原理出发发展起来的其它估计方法的基础。 基本原理：对于最小二乘法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得模型能最好地拟合样本数据。 对于极大似然法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大。 将该或然函数极大化，即可求得到模型参数的极大或然估计量。 复习： 掌握ols方法的原理，掌握一元线性回归参数形式。 明确优良的参数估计应具有的性质，尤其明确OLS方法是BLUE。 掌握EVIEWS建立模型的方法及命令。 了解OLS估计参数的概率分布。 * * 概率密度 偏倚 图2.6 概率密度 图2.7 概率密度 1 、 和 1 ? b 的概率分布 其次 ， 和 1 ? b 分别是 i Y 的线性组合，因此 、 1 ? b 的概率分 布取决于 Y 。 在 ? 是正态分布的假设下， Y 是正态分布，因此 和 1 ? b 也 服从正态分布，其分布特征 （密度函数）由其均值和方差唯 一决定。 首先， 由于解释变量 i X 是确定性变量，随机误差项 i ? 是 随机性变量，因此被解释变量 i Y 是随机变量，且其分布 （特 征）与 i ? 相同。 因此： ) , ( ~ ? 2 2 2 S2XX N s b b ， ) , ( ~ ? 2 2 2 1 1 s b b