《研究生课件 数理统计》第四章回归分析.ppt

a0 b0 a0 b0 b1 b=1 0b1 0b1 b1 b=1 a a §3 多元线性回归 设随机变量Y与p个变量x1,x2,...,xp有关,它们之间满足: E(Y)=β0+β1x1+β2x2+...+βpxp 进一步假设 Y~N(β0+β1x1+β2x2+...+βpxp,σ2) 即 式中x1,x2,...,xp都是可精确测量或可控制的一般变量,Y是可观察的随机变量, β0,β1,β2,...,βp是未知参数,ε是不可观察的随机误差. 假如我们要获得n组相互独立的样本: (Yi; x1i,x2i,...,xpi), i=1,2,...,n 则可知有数据结构 Yi=β0+β1x1i+β2x2i+...+βpxpi+ εi i=1,2,...,n 其中εi ~N(0, σ2), i=1,2,...,n且相互独立.这就是 p元线性回归模型. §3.1 参数估计 若已给出样本观察值(yi; x1i,x2i,...,xpi), i=1,2,...,n.我们希望对参数β0,β1,β2,...,βp及σ2作出估计. 由于Q是β0,β1,β2,...,βp的一个非负二次型,故其极小值必存在,根据微积分的理论知道,这只需求解下列方程组: 所以正规方程用矩阵形式表示即为: 为了求σ2的估计,先给出几个名词 §3.2 参数最小二乘估计的性质 * 在实际问题中我们常常会遇到多个变量同处于一个过程之中,它们互相联系、互相制约.在有的变量间有完全确定的函数关系,例如电压V、电阻R与电流I之间有关系式:V=IR;在圆面积S与半径R之间有关系式S=πR2. 自然界众多的变量之间,除了以上所说的那种确定性的关系外,还有一类重要的关系,即所谓的相关关系.比如,人的身高与体重之间的关系.虽然一个人的身高并不能确定体重,但是总的说来,身高者,体重也大.我们称身高与体重这两个变量具有相关关系. 回归分析方法是一种常用的数理统计方法,是处理多个变量变之间相关的一种数学方法. 第四章 回归分析 实际上,由于实验误差的影响,即使是具有确定性关系的变量之间,也常表现出某种程度的不确定性. 回归分析方法是处理变量间相关关系的有力工具.它不仅为建立变量间关系的数学表达式(经验公式)提供了一般的方法,而且还能判明所建立的经验公式的有效性,从而达到利用经验公式预测、控制等目的.因此，回归分析方法的应用越来越广泛,其方法本身也在不断丰富和发展. 在一元线性回归分析里,我们要考察随机变量Y与一个普通变量x之间的联系. §1.1 一元线性回归模型 对于有一定联系的两个变量:x与Y,通过观测或实验得到n对数据 (x1,Y1), (x2,Y2), ...,(xn,Yn) 用什么方法可以得到这两个变量之间的经验公式呢?为此举例如下: §1 一元线性回归 例:维尼纶纤维的耐热水性能好坏可以用指标“缩醛化度”Y(克分子%)来衡量.这个指标越高,耐热水性能也越好.而甲醛浓度是影响缩醛化度的重要因素.在生产中常用甲醛浓度x(克/升)去控制这一指标.为此必须找出它们之间的关系,现安排了一批试验,获得如下数据: 若重复这些试验,在同一甲醛浓度x下,所获得的缩醛化度Y不完全一致.这表明x与Y之间不能用一个完全确定的函数关系来表达. y 31 30 29 28 27 26 18 20 22 24 26 28 30 x 散点与近似直线图 为了看出它们之间是否有关及存在什么样的关系,我们在直角坐标系下作出了这些点,从图上可看出:随甲醛浓度x的增加,缩醛化度Y也增加,且这些点近似在一条直线附近,但又不完全在一条直线上.引起这些点与直线偏离的原因是由于在生产和测试过程中还存在一些不可控的因素,它们都在影响着试验结果. 这样我们可以把试验结果Y看成由两部分叠加而成:一部分是由x的线性函数引起,记为a+bx;另一部分是由随机因素引起,记为ε,即 Y=a+bx+ε 一般假设随机误差ε~N(0,σ2).即 Y~ N(a+bx,σ2) 在Y=a+bx+ε中,x是一般变量,它可以精确测量或可以加以控制,Y是可观察其值的随机变量, ε~ N(0,σ2)是不可观察的随机变量, a,b是未知参数. 为了获得未知参数a,b的估计,需要进行若干次独立试验.设试验结果为 (x1,Y1), (x2,Y2), ...,(xn,Yn) 则 Y1=a+bx1+ε1 ε1~ N(0,σ2) Y2=a+bx2+ε2 ε2~ N(0,σ2) Yn=a+bxn+εn