一元线性回归模型与参数估计.ppt

一元线性回归模型及其参数估计 一、一元线性回归模型的参数估计 二、最小二乘参数估计量的统计性质 三、最小二乘参数估计量的概率分布 一、一元线性回归模型的参数估计 一元线性回归模型的一般形式 模型参数估计的任务 模型参数估计的任务为两项： 1、普通最小二乘法（Ordinary Least Square, OLS） 给定一组样本观测值（Xi, Yi），i=1,2,…n，假如模型参数估计量已经求得，并且是最合理的参数估计量，那么样本回归函数应该能够最好地拟合样本数据，即样本回归线上的点与真实观测点的“总体误差”应该尽可能地小。 最小二乘参数估计量的离差形式(deviation form) 随机误差项方差的估计量 2、最大似然法（ Maximum Likelihood, ML） 最大或然法，也称最大似然法，是不同于最小二乘法的另一种参数估计方法，是从最大或然原理出发发展起来的其它估计方法的基础。 基本原理： 对于最大或然法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型总体中抽取该n组样本观测值的联合概率最大。 将该或然函数极大化，即可求得到模型参数的极大或然估计量。 由于或然函数的极大化与或然函数的对数的极大化是等价的，所以，取对数或然函数如下： 可见，在满足一系列基本假设的情况下，模型结构参数的最大或然估计量与普通最小二乘估计量是相同的。 但是，随机误差项的方差的估计量是不同的。 3、样本回归线的数值性质(numerical properties) 样本回归线通过Y和X的样本均值； Y估计值的均值等于观测值的均值； 残差的均值为0。 二、最小二乘参数估计量的统计性质高斯-马尔可夫定理 当模型参数估计完成后，需考虑参数估计值的精度，即是否能代表总体参数的真值，或者说需考察参数估计量的统计性质。 1、线性性：最小二乘参数估计量是Y的线性函数。 2、无偏性：最小二乘参数估计量的均值等于总体回归参数真值。 3、有效性：在所有线性无偏估计量中，最小二乘参数估计量具有最小方差。 （2）证明最小方差性 4、结论 普通最小二乘参数估计量具有线性性、无偏性、最小方差性等优良性质。 具有这些优良性质的估计量又称为最佳线性无偏估计量，即BLUE估计量（the Best Linear Unbiased Estimators）。 显然这些优良的性质依赖于对模型的基本假设。 三、最小二乘参数估计量的概率分布 例：已知收入X和消费支出Y的如下数据，试估计Y对X的一元线性回归方程，并计算参数估计量的标准差。 可以证明，随机误差项方差的无偏估计量为： * 一元线性回归模型的一般形式 是： i i X i Y m b b + + = 1 0 i=1 ， 2 ，…， n 在满足 基本假设： = = = = 0 ) , ( 0 ) , ( 2 ) ( 0 ) ( i i x Cov j i Cov i Var i E m m m m s m m i=1,2, … ,n j=1,2, … ,n i ≠ j 的情况下，随机抽取 n 组样本观测值 i X i Y , （ i=1,2, … n ），就 可以估计模型的参数。 同方差 期望或均方值 协方差 一是求得反映变量之间数量关系的结构参数的估计量， 在一元线性回归模型即是参数 和 的估计量； b 0 b 1 二是求得随机误差项的分布参数，由于随机误差项 的均值已经被假定为0，所以所要求的分布参数只有 方差 。 2 m s 最小二乘法给出的判断标准是：二者之差的平方和最小，即 由于 2 ) ? 1 ( i Y n i Y Q - = ? = 2 )) 1 ? 0 ? ( 1 ( i X n i Y b b + - ? 是 $ b 0 、 $ b 1 的二次函 数，并且非负，所以其极小值总是存在的。 根据极值存在的 条件 ，当 Q 对 $ b 0 、 $ b 1 的一阶偏导数为 0 时， Q 达到最小。即 0 0 1 ? 0 ? = = ? ? ? ? ? í ì b ? ? b ? ? Q Q T ? í ì = - + = - + ? ? 0 ) 1 ? 0 ? ( 0 ) 1 ? 0 ? ( i X i Y i X i Y i X b b b b T ? ? ? í ì S + S = S S + = S 2 1 ? 0 ? 1 ? 0 ? i X i X i X i Y i X n i Y b b b b 解得：