多元統計分析初步

因素分析

1. 因素分析的基本思想：主成分分析的推廣，也是利用降維思想，由研究原始變量相關陣居內出發，把一些具有錯綜復雜關系的變量歸結為少數幾個綜合因素；根據相關性把原始變量分組，是的同組內的變量之間相關性較高，不同組的變量間相關性較低，每組變量代表一個基本結構，并用一個不可觀察的綜合變量表示，這個基本結構就成為公因子。
2. 根據研究者對因素的確定性程度分為探索性因素分析和驗證性因素分析：
3. 探索性因素分析：研究者事先對觀察數據背后可以提取多少個因素并不確定，分析的目的在于探索因素的個數。
4. 實驗性因素分析：研究者根據已有的理論模型對因素的個數，以及每個變量都在哪個因素上有載荷有明確的假設，分析的目的在于對假設進行驗證。
5. 因素個數的確定主要依據特征值的大小：特征值代表某個因素可解釋的總變異量。一般而言，特征值需大于1才能視為一個因素。另外，還可以進行碎石圖檢驗或險坡檢驗。將每一個因素依其特征值排列，特征值逐漸遞減，當特征值逐漸接近，沒有變化時，代表特殊的因素已經無法抽取，當特征值急劇增加，即特征曲線變陡之時，就是決定因素個數之時。

主成分分析與因素分析的區別

1. 因素分析目的是從數據中探查能對變量起解釋作用的因子，及其組合系數；主成分分析只是尋找能夠解釋諸多變量變異大部分的幾組彼此不想關的變量。
2. 因素分析把變量表示成因素的線性組合；主成分分析是把主成分表示成變量的線性組合。
3. 因素分析需要一些假設；主成分分析不用。
4. 因素分析抽取因素有許多方法；主成分分析只有一種。
5. 因素可以進行旋轉；主成分一般是固定的。
6. 因素的數量要分析者假定；主成分分析則不需要。
7. 由于可以使用因素旋轉幫助解釋因素，與主成分分析相比，解釋方面因素分析更有優勢。

多元統計分析初步

多元線性回歸分析

1. 多元回歸及相關概念：在回歸分析中，若有兩個或以上的自變量，就成為多元回歸。

在需要用多個計量資料的自變量來解釋單個計量資料的因變量時，多元回歸是最適合的選擇；它能提供多個自變量對因變量的函數關系、提供多個備選的函數關系、提供每個關系式對實驗數據的解釋能力，研究者可以結合自己的理論語氣，據此做出選擇。

1. 線性回歸模型的基本假設：
2. 解釋變量X是確定變量，不是隨機變量。
3. 解釋變量之間互不相關，即無多重共線性。
4. 隨機誤差服從0均值、同方差的正態分布，且不存在序列相關關系。
5. 隨機誤差與解釋變量間不相關。
6. 自變量的診斷及選擇：
7. 在進行回歸分析之前，需要確定自變量是否符合基本假設，這就是診斷過程，一般需要經過異常點診斷（檢測是否有個別觀測點與多數觀測點偏離很遠，或出現過失誤差）和共線性診斷（若自變量之間有較強相關關系，將很難求得理想回歸方程，共線性診斷便是先對自變量間的先慣性作出的判斷與剔除。）
8. 自變量的選擇方法有許多種，基本上都是基于決定系數R最大原則：最優方程選擇法；同時分析法（標準回歸）；逐步分析法（順向進入法-向前回歸、從無到有，反向淘汰法-向后回歸、逐一剔除）；逐步回歸法（先順向進入，再反向淘汰）；階層分析法（分層回歸）；最大R增值法（先找到最大的回歸方程，再增加變量）；最小R增值法等。

主成分分析

1. 基本思想：利用降維的思想，在損失很少信息的前提下把多個指標化為幾個綜合指標；通常把轉化生成的綜合指標成為主成分，這樣在研究復雜問題時，就可以只考慮幾個少數的成分又不至于損失太多信息，從而更容易抓住主要矛盾，解釋事物內部變量之間的規律性。
2. 一般地說，利用主成分分析得到的主成分與變量之間有如下關系：

A.每一個主成分都是各原始變量的線性組合；

B.主成分的數目大大少于原始變量的數目；

C.主成分保留了原始變量的絕大多數信息；

D.各主成分間互不相關，即無多重共線性。