多元线性回和Logistic回归.ppt

多元线性回归 多元线性回归是简单线性回归的直接推广,其包含 个因变量和二个或二个以上的自变量。 简单线性回归是研究一个因变量(Y)和一个自变量 (X)之间数量上相互依存的线性关系。而多元线性回 归是研究一个因变量(Y)和多个自变量(X)之间数 量上相互依存的线性关系 简单线性回归的大部分内容可用于多元回归,因其基 本概念是一样的。 多元线性回归分析的 标准化偏一 中自 量的选择 多元回归分析中的若干问题一 系数和确定系数 程和偏回归系数的假设检验 多元线性回归模型与参数估计 多元线性回归模型与参数估计 设有自变量x1x2…x和因变量Y以及一份由n个个体构 成的随机样本(x,x2…,Xp,Y1),且有如下关系 y=B0+B1x1+B2X2+…+Bpxp+8(模型) B0、B1、B和Bn为待估参数,ε为残差。 由一组样本数据,可求出等估参数的估计值b、b1、b2 和bn,得到如下回归方程 yi=bo+b,X+b2X2+..+bp Xp ·由此可见,建立回归方程的过程就是对回归模型中的 参数(常数项和偏回归系数)进行估计的过程。 参数的最小二乘估 与简单回归类似,我们寻求参数Bo、B1、B2和 Bn的适宜估计数值b、b1、b,和bn,使实际观 察值和回归方程估计值之间残差平方和最小, Q=2(y1-y)2 ∑(y1-bo-bx1-b2x2 对b、b…、b分别求偏导数,今偏导数为零 可获得P十1个正规方程,求解正规方程可得待 估参数值 回归方程和偏回归系数的假设检验 回归方程的假设检验 建立回归方程后,须分析应变量Y与这p个自 变量之间是否确有线性回归关系,可用F分析。 Ho: B,=B H1:H不正确∞=005 F=MS回归/MS误差 MS回归=SS回归/pSS回归=∑bLiy(j-12.P MS误差=SS误差/(n-p-1)SS误差为残差平方和 偏回归系数的假设检 回归方程的假设检验若拒绝H0,则可分别对每 个偏回归系数b作统计检验,实质是考察在固 定其它变量后,该变量对应变量Y的影响有无 显著性。 B;=0 H1:B不为零x=0.05 F=(X;的偏回归平方和/1)/MS误差 X的偏回归平方和:去X后回归平方和的减少量 若H成立,可把X从回归方程中剔除,余下变 量重新构建新的方程。 标准化偏回归系数和确定系数 在比较各自变量对应变量相对贡献大小时,由 于各自变量的单位不同,不能直接用偏回归系 数的大小作比较,须用标准化偏回归系数 (Sj /Sy) 确定系数 简记为R2,即回归平方和SS回归与总离均 差平方和SS总的比例 R2=SS回归/SS总 可用来定量评价在Y的总变异中,由P个 Ⅹ变量建立的线性回归方程所能解释的比 例 回归分析中的若干问题 资料要求:总体服从多元正态分布。但实际工 作中分类变量也做分析 n足够大,至少应是自变量个数的5倍 分类变量在回归分析中的处理方法 有序分类: 治疗效果:x=0(无效)x=1(有效)x=2(控制 无序分类 有k类,则用k-1变量(伪变量)