第三章 回归分析概要演示课件.ppt

高斯—马尔柯夫定理 精选编制 第三节 拟合优度的评价 精选编制 问题的提出 由最小二乘法所得直线究竟能够对这些点之间的关系加以反映吗？ 对这些点之间的关系或趋势反映到了何种程度？ 于是必须经过某种检验或者找出一个指标，在一定可靠程度下，根据指标值的大小，对拟合的优度进行评价。 分四个问题进行讨论：平方和分解、方差分析、拟合优度、拟合优度与简单相关系数的关系。 精选编制 一、平方和与自由度的分解 1、总平方和、回归平方和、残差平方和的定义 2、平方和的分解 3、自由度的分解 精选编制 1、总平方和、回归平方和、残差平方和的定义 TSS度量Y自身的差异程度，RSS度量因变量Y的拟合值自身的差异程度，ESS度量实际值与拟合值之间的差异程度。 精选编制 五、回归模型的矩阵方法和随机矩阵 精选编制 精选编制 精选编制 精选编制 精选编制 六、经典线性回归模型及其假设条件 一、有正确的期望函数。 它要求在线性回归模型中没有遗漏任何重要的解释变量，也没有包含任何多余的解释变量。 二、被解释变量等于期望函数与随机干扰项之和。 三、随机干扰项独立于期望函数。即所有解释变量Xj与随机干扰项u不相关。 四、解释变量矩阵X是非随机矩阵，且其秩为列满秩的，即rank（X）＝k。 精选编制 五、随机干扰项服从正态分布。该假设给出了被解释变量的概率分布。 六、随机干扰项的期望值为0。即： E（u）＝0 七、随机干扰项具有方差齐性。即： 八、随机干扰项相互独立。 精选编制 第二节 模型参数的估计一、普通最小二乘法（OLS估计） 通过协方差或相关系数证实变量之间存在关系，仅仅只是知道变量之间线性相关的性质——正（负）相关和相关程度的大小。 既然它们之间存在线性关系，接下来必须探求它们之间关系的表现形式是什么？ 最好用数学表达式将这种关系尽可能准确、严谨的表示出来——y=a+bx+u——把它们之间的内在联系挖掘出来。也就是直线中的截距a=？；直线的斜率b=？ 消费支出=基本生存+边际消费倾向×可支配收入+随机扰动 精选编制 解决问题的思路——可能性 寻找变量之间直线关系的方法多多。于是，再接下来则是从众多方法中，寻找一种优良的方法，运用方法去求出线性模型——y=a+bx+u中的截距a=？；直线的斜率b=？正是是本章介绍的最小二乘法。 根据该方法所得，即表现变量之间线性关系的直线有些什么特性？ 所得直线可靠吗？怎样衡量所得直线的可靠性？ 最后才是如何运用所得规律——变量的线性关系？ 精选编制 最小二乘法产生的历史 最小二乘法最早称为回归分析法。由著名的英国生物学家、统计学家道尔顿（F.Gallton）——达尔文的表弟所创。 早年，道尔顿致力于化学和遗传学领域的研究。 他研究父亲们的身高与儿子们的身高之间的关系时，建立了回归分析法。 精选编制 最小二乘法的地位与作用 现在回归分析法已远非道尔顿的本意 已经成为探索变量之间关系最重要的方法，用以找出变量之间关系的具体表现形式。 后来，回归分析法从其方法的数学原理——误差平方和最小（平方乃二乘也）出发，改称为最小二乘法。 精选编制 父亲们的身高与儿子们的身高之间关系的研究 1889年F.Gallton和他的朋友K.Pearson收集了上千个家庭的身高、臂长和腿长的记录 企图寻找出儿子们身高与父亲们身高之间关系的具体表现形式 下图是根据1078个家庭的调查所作的散点图（略图） 精选编制 160 165 170 175 180 185 140 150 160 170 180 190 200 Y X 儿子们身高向着平均身高“回归”，以保持种族的稳定 精选编制 “回归”一词的由来 从图上虽可看出，个子高的父亲确有生出个子高的儿子的倾向，同样地，个子低的父亲确有生出个子低的儿子的倾向。得到的具体规律如下： 如此以来，高的伸进了天，低的缩入了地。他百思不得其解，同时又发现某人种的平均身高是相当稳定的。最后得到结论：儿子们的身高回复于全体男子的平均身高，即“回归”——见1889年F.Gallton的论文《普用回归定律》。 后人将此种方法普遍用于寻找变量之间的规律 精选编制 最小二乘法的思路 1．为了精确地描述Y与X之间的关系，必须使用这两个变量的每一对观察值，才不至于以点概面（作到全面）。 2．Y与X之间是否是直线关系（协方差或相关系数）？若是，将用一条直线描述它们之间的关系。 3．在Y与X的散点图上画出直线的方法很多。 任务？——找出一条能够最好地描述Y与X（代表所有点）之间的直线。 4．什么是最好？—找出判断“最好”的原则。 最好指的是找一条直线使得这些点到该直线的纵向距离的和（平方和）最小。 精选编制 三种距离 y x 纵向距离 横向距