偏最小二乘法回归建模案例.doc

《人工智能》课程论文 论文题目： 偏最小二乘算法（PLS）回归建模 学生姓名： 张帅帅 学 号： 172341392 专 业： 机械制造及其自动化 所在学院： 机械工程学院 年—月—日 目录 TOC \o 1-5 \h \z \o Current Document 偏最小二乘回归 - 2 - \o Current Document 摘要 - 2 - \o Current Document §1偏最小二乘回归原理 . - 2 - \o Current Document §2一种更简洁的计算方法 . - 6 - \o Current Document §3案例分析 - 7 - 致谢 - 16 - 附件： - 17 - 偏最小二乘回归 摘要 在实际问题中， 经常遇到需要研究两组多重相关变量间的相互依赖关系， 并 研究用一组变量 （常称为自变量或预测变量） 去预测另一组变量 （常称为因变量 或响应变量），除了最小二乘准则下的经典多元线性回归分析（ MLR，提取自变 量组主成分的主成分回归分析（PCR等方法外，还有近年发展起来的偏最小二 乘（PLS回归方法。 偏最小二乘回归提供一种多对多线性回归建模的方法， 特别当两组变量的个 数很多，且都存在多重相关性，而观测数据的数量（样本量）又较少时，用偏最 小二乘回归建立的模型具有传统的经典回归分析等方法所没有的优点。 偏最小二乘回归分析在建模过程中集中了主成分分析， 典型相关分析和线性 回归分析方法的特点， 因此在分析结果中， 除了可以提供一个更为合理的回归模 型外，还可以同时完成一些类似于主成分分析和典型相关分析的研究内容， 提供 更丰富、深入的一些信息。 本文介绍偏最小二乘回归分析的建模方法； 通过例子从预测角度对所建立的 回归模型进行比较。 关键词： 主元分析、主元回归、回归建模 1 偏最小二乘回归原理 考虑p个变量yj,y2,…yp与m个自变量x1,x2,...xm的建模问题。偏最小二乘 回归的基本作法是首先在自变量集中提出第一成分t ? 回归的基本作法是首先在自变量集中提出第一成分 t ?是 x1 , x2 ,...x 的线性组合，且尽可能多地提取原自变量集中的变异信息） ；同时在因变量集中 也提取第一成分 u?,并要求t ?与u?相关程度达到最大。然后建立因变量 y1, y2,...yp与t?的回归，如果回归方程已达到满意的精度，贝U算法中止。否则 继续第二对成分的提取，直到能达到满意的精度为止。若最终对自变量集提取 r 个成分 t1 ,t2,...tr , 偏最小二乘回归将通过建立 y1,y2,...yp 与 t1,t2,...tr 的回归 式，然后再表示为 /,丫2,…yp与原自变量的回归方程式，即偏最小二乘回归方 程式。 为了方便起见，不妨假定p个因变量y1, y2,...yp与m个自变量x1 ,x2,..xm均为 y yipy y yip yni ynp X11 X1m E 一 _Xm Xnm 偏最小二乘回归分析建模的具体步骤如下： 分别提取两变量组的第一对成分，并使之相关性达最大。 假设从两组变量分别提出第一对 t?和u?t ?是自变量集X=(x1,...,xm),的 线性组合：匚=Wt +... + w1mxm = w；X ,u?是因变量集Y = (yi,..,yp$的线性组合: u^ v11y1 ... v1py^ v:Y。为了回归分析的需要，要求： t1和u1各自尽可能多地提取所在变量组的变异信息； t1和u1的相关程度达到最大。 由两组变量集的标准化观测数据阵 E0和F。，可以计算第一对成分的得分向量，记 为t1和U1： Xim Wii tii X Xim Wii tii Xnm _Wim 一 jni 一 -屮i A u1 = FoVi = l： yi yip 丨 Vii I ynphip 一 Un .Uni _ 第一对成分ti和s的协方差Cov(ti, ui)可用第一对成分的得分向量ti和Ui的内积 来计算。故而以上两个要求可化为数学上的条件极值问题： EoWi EoWi，丫oVi 2 w； E； =i,Vi Vi 二 Vi - i Fo Xi= max 利用Lagrange乘数法，问题化为求单位向量 wi和vi,使二i = w； E； F0y =最大。 问题的求解只须通过计算 m m矩阵M二E；F0F0；E0的特征值和特征向量，且 M 的最大特征值为 罟，相应的单位特征向量就是所求的解 wi，而Vi可由wi计算得到 1 匚T Vi -丁 Fo EoWi _l 建立%』2,…yp,对匕的回归及若，…,X「，对t1的回归。 假定回归模型为： Eo = t1 _叮-Ei F。叮 Fi 其