回归分析课件.ppt

於是多對多線性回歸模型可寫成：注：組與組之間的隨機誤差項是相互獨立的，但組內可以是不獨立的，即每一行內部可以是不獨立的。多對多線性回歸分析模型

的參數估計為此用拉直法以及利用矩陣四塊求逆公式可得回歸係數的估計值如下：其中左側是回歸係數陣，且有多對多線性回歸係數向量

的假設檢驗一元統計中多元回歸係數檢驗是：1．選擇變數子集合的原則及方法（1）修正可決係數的方法當模型中引入一個變數，可決係數增加，而修正可決係數卻增加不大，說明該變數對因變數的影響不大，可以不進入模型。類似地，可以依此原則來選擇變數子集合。（2）AIC準則AIC準則(Aninformationcriterion)又稱為最小資訊準則，1973年由赤池弘治(Akaike)提出。該準則適用於ARMA模型，包括AR，MA模型的檢驗。AIC準則的計算公式定義為AIC中右側第一項為衡量模型擬合優度的一個量，第二項為增加參數的折扣，應用時選擇AIC值最小的那個回歸模型為最優模型，也即選擇AIC值最小的變數子集合（3）Cp準則馬勒斯（Mallows）從預測角度提出一個可以用來選擇引數的統計量，即Cp準則。Cp統計量定義為Cp中右側第一項為衡量模型擬合優度的一個量，第二項為增加參數的折扣，應用時選擇Cp值最小的那個回歸模型為最優模型，也即選擇Cp值最小的變數子集合此外，變數子集合的選擇還可以採用逐步回歸的方法，自動地從大量可供選擇的變數中，選擇對建立回歸方程重要的變數。逐步回歸特別適用於解釋變數比較多的情況下進行變數的選擇。但是，逐步回歸分析方法只能識別出一個子集合回歸，不能給我們提供幾個有爭議的子集合進行選擇。第三節逐步回歸分析一、逐步回歸分析的基本原理二、引入或剔除變數的依據及檢驗三、逐步回歸中回歸係數的求解四、逐步回歸分析在Excel中的實現逐步回歸分析的基本原理1．“最優”回歸方程當引數的個數很多時，建立多元回歸方程會經常出現多重共線性問題。這就需要探索更方便的方法，從眾多的引數中選擇對因變數y影響最為顯著的引數，建立最優回歸模型。所謂“最優”回歸方程，是指方程中包含所有對y影響比較顯著的變數，而不包括對影響不顯著的變數的回歸方程。建立“最優”回歸方程，可採用以下的方法：（１）從所有可能的引數組合的回歸方程中選擇最優方程。這種方法理論可行，但是實際中需要建立（）個方程，工作量太大。（２）“逐步剔除法”。原理是先採用全部引數與因變數建立回歸方程，然後對每個引數進行顯著性檢驗，剔除不顯著的引數中偏回歸平方和最小的變數，然後再用剩下來的引數與因變數建立新的回歸方程，再對方程中每個引數進行顯著性檢驗，剔除不顯著的引數中偏回歸平方和最小的變數，這個過程不斷重複，直到回歸方程中的引數都顯著為止，最後的回歸方程就是“最優”方程。該方法的不足，一是計算量大，二是引數一旦被剔除就再沒有機會被引入，沒有考慮到由於某個變數的剔除後使變得顯著的其他變數再回到方程中的情況。（３）“逐步引入法”。原理是從一個引數開始，逐個引入回歸方程。先是在所有的引數中選擇一個，使它和因變數建立的一元回歸方程比其他引數與因變數建立的一元回歸方程具有最大的回歸平方和。然後，再在未選入的變數中選擇一個引數，使它和已選入模型的變數所建立的二元回歸方程，比其他引數和已選入模型的變數所建立的二元回歸方程具有最大的回歸平方和。依次類推，選擇第三個變數，這個過程重複下去，每選擇一次，都對要引入的變數進行顯著性檢驗，一旦檢驗不能通過，就不再引入，過程結束。最後的回歸方程就是“最優方程”。該方法的不足，一是計算量大，二是引數一旦被引入就再沒有機會被剔除，沒有考慮到由於某個引數的引入使變得不顯著的其他變數應從方程中剔除的情況。（４）“逐步回歸分析法”逐步回歸分析法是綜合上述（２）（３）兩種方法特點，吸收優點，避免不足，產生的方法。是一種自動地從大量可供選擇的變數中，選擇對建立回歸方程重要的變數的方法，它是在多元線性回歸分析基礎上派生的一種演算法。2．逐步回歸分析方法的基本原理原理是:類似於逐步引入法，從一個引數出發，視引數對因變數的影響顯著性大小，從大到小逐個引入回歸方程，同時，在逐個引數選入回歸方程的過程中，如果發現先前被引入的引數在其後由於某些引數的引入而失去其重要性時，可以從回歸方程中隨時予以剔除。引入一個變數或剔除一個變數，為逐步回歸的一步，每步都要進行顯著性檢驗，以便保證每次引入變數前回歸方程中只包括顯著性變數，這個過程反復進行，直到既無不顯著變數從回歸方程中