當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

因子分析以及SPSS实现

發布時間：2023/12/20 编程问答 32 豆豆

生活随笔收集整理的這篇文章主要介紹了因子分析以及SPSS实现小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

因子分析

因子分析的相關簡介

與主成分分析相似，因子分析也是一種降維的方法，因子分析通過研究多維樣本矩陣，在樣本的多個指標下，提取出適量的因子，使得每個指標可以表示成各個因子的線性組合。

假設我們有 $n$ 個樣本， $p$ 個指標，則可以構成大小為 $n×pn\times p$ 的樣本矩陣
$x=[x11x12?x1px21x22?x2p????xn1xn2?xnp]=（x1,x2,?,xp）x=\begin{bmatrix} x_{11}& x_{12}& \cdots & x_{1p}\\ x_{21}& x_{22}& \cdots & x_{2p}\\ \vdots & \vdots & \ddots & \vdots \\ x_{n1}& x_{n2}& \cdots &x_{np} \end{bmatrix}=（x_1,x_2,\cdots,x_p）$

主成分分析：通過 $（x1,x2,?,xp）（x_1,x_2,\cdots,x_p）$ 推出它們的主成分 $z1,z2,?,zm(m≤p)z_1,z_2,\cdots,z_m(m\le p)$ ，并且存在關系
${z1=l11x1+l12x2+?+l1pxpz2=l21x1+l22x2+?+l2pxp?zm=lm1x1+lm2x2+?+lmpxp\begin{cases} z_1=l_{11}x_1+l_{12}x_2+\cdots+l_{1p}x_p\\ z_2=l_{21}x_1+l_{22}x_2+\cdots+l_{2p}x_p\\ \qquad\vdots\\ z_m=l_{m1}x_1+l_{m2}x_2+\cdots+l_{mp}x_p\\ \end{cases}$
$z1,z2,?,zm(m≤p)z_1,z_2,\cdots,z_m(m\le p)$ 是 $m$ 個主成分，各指標的線性組合構成了主成分。

因子分析：通過 $（x1,x2,?,xp）（x_1,x_2,\cdots,x_p）$ 推出它們的”因子“ $f1,f2,?,fm(m≤p)f_1,f_2,\cdots,f_m(m\le p)$ ，并且存在關系
${x1=u1+a11f1+a12f2+?+a1mfm+ε1x2=u2+a21f1+a22f2+?+a2mfm+ε2?xp=up+ap1f1+ap2f2+?+apmfm+εp\begin{cases} x_1=u_1+a_{11}f_1+a_{12}f_2+\cdots+a_{1m}f_m+\varepsilon_1\\ x_2=u_2+a_{21}f_1+a_{22}f_2+\cdots+a_{2m}f_m+\varepsilon_2\\ \qquad\vdots\\ x_p=u_p+a_{p1}f_1+a_{p2}f_2+\cdots+a_{pm}f_m+\varepsilon_p\\ \end{cases}$
$f1,f2,?,fm(m≤p)f_1,f_2,\cdots,f_m(m\le p)$ 是公共因子， $εi\varepsilon_i$ 是特殊因子，各因子的線性組合構成了原始的指標。

x=u+Af+ $ε\varepsilon$ ,假設
${E(f)=0E(ε)=0Var(f)=diag(1,1,?,1)Var(ε)=diag(σ12,σ22,?,σp2)Cov(f,ε)=E(fε′)=0\begin{cases} E(f)=0\\ E(\varepsilon)=0\\ Var(f)=\mathrm{diag}(1,1,\cdots,1)\\ Var(\varepsilon)=\mathrm{diag}(\sigma_1^2,\sigma_2^2,\cdots,\sigma_p^2)\\ Cov(f,\varepsilon)=E(f\varepsilon^{\prime})=0 \end{cases}$
其中 $f=(f1,f2,?,fm)′(m≤p)f=(f_1,f_2,\cdots,f_m)^{\prime}(m\le p)$ 是公因子向量

$ε=(ε1,ε2,?,εp)′\varepsilon=(\varepsilon_1,\varepsilon_2,\cdots,\varepsilon_p)^{\prime}$ 為特殊因子向量

$Ap×m=(aij)A_{p\times m}=(a_{ij})$ 稱為因子載荷矩陣，假設 $rank(A)=m\mathrm{rank}(A)=m$

主成分分析和因子分析的區別：

主成分分析是簡單的數值計算，比較容易實現，解是唯一的，但是可能難以對結果進行解釋

因子分析需要構造因子模型，伴隨關鍵性的假定，因為我們可以進行因子旋轉，所以我們可以得到多個可行解，這導致了因子分析的成功率遠大于主成分分析的成功率。

因子載荷

因子分析模型 $x=u+Af+εx=u+Af+\varepsilon$ 中， $Ap×m=(aij)A_{p\times m}=(a_{ij})$ 稱為因子載荷矩陣，假設 $rank(A)=m\mathrm{rank}(A)=m$

(1) $a_{ij}$ 是原始變量 $x_i$ 與公因子 $f_i$ 之間的協方差， $a_{ij}=cov(x_i,f_j)$ ，如果 $x$ 經過了標準化，則 $aij=ρ(xi,fj)a_{ij}=\rho(x_i,f_j)$

(2) $A$ 的行元素平方和 $hi2=∑j=1maij2h_i^2=\sum_{j=1}^ma_{ij}^2$ 是原始變量 $x_i$ 對公因子依賴的程度，可以證明 $Var(xi)=hi2+σi2(i=1,2,?,p)Var(x_i)=h_i^2+\sigma_i^2(i=1,2,\cdots,p)$

$h_i^2$ 反映了公因子對于 $x_i$ 的影響，可以看成是公因子對于 $x_i$ 的方差貢獻，稱為共性方差， $σi2\sigma_i^2$ 是特殊因子 $εi\varepsilon_i$ 對于 $x_i$ 的方差貢獻，稱為個性方差，若標準化，則 $hi2+σi2=1h_i^2+\sigma_i^2=1$

(3) $A$ 的列元素平方和 $gj2=∑i=1paij2g_j^2=\sum_{i=1}^pa_{ij}^2$ 是公因子 $f_j$ 對于 $x_i$ 的貢獻

可以證明： $∑i=1pVar(xi)=g12+g22+?+gm2+∑i=1pσi2\sum_{i=1}^pVar(x_i)=g_1^2+g_2^2+\cdots+g_m^2+\sum_{i=1}^p\sigma_i^2$

$g_j^2$ 的值越大，反映了 $f_j$ 對 $x$ 的影響越大， $g_j^2$ 是衡量公因子 $f_j$ 重要性的一個尺度，可視為公因子 $f_j$ 對 $x$ 的貢獻。

因子旋轉

令 $T$ 是一個任意的 $m×mm\times m$ 的正交矩陣，令 $A?=AT,f?=T′fA^{*}=AT,f^{*}=T^{\prime}f$ ，則模型可以表示為:

$x=u+A?f?+εx=u+A^*f^*+\varepsilon$ ，這是因為上述假設仍然成立
${E(f?)=T′E(f)=0E(ε)=0Var(f?)=T′Var(f)T=T′IT=I=diag(1,1,?,1)Var(ε)=diag(σ12,σ22,?,σp2)Cov(f?,ε)=E(f?ε′)=T′E(fε′)=0\begin{cases} E(f^*)=T^{\prime}E(f)=0\\ E(\varepsilon)=0\\ Var(f^*)=T^{\prime}Var(f)T=T^{\prime}IT=I=\mathrm{diag}(1,1,\cdots,1)\\ Var(\varepsilon)=\mathrm{diag}(\sigma_1^2,\sigma_2^2,\cdots,\sigma_p^2)\\ Cov(f^*,\varepsilon)=E(f^*\varepsilon^{\prime})=T^{\prime}E(f\varepsilon^{\prime})=0 \end{cases}$
推導比較復雜，不需要大家掌握。

因子旋轉應當使得新的公共因子的載荷系數的絕對值盡可能接近0或1，這是為了使結果更易于解釋。

下面介紹幾種SPSS中的因子旋轉的方法

最大方差法

正交旋轉，使得對每個因子有高負載的變量數目達到最小，該方法簡化了因子的解釋。這是最常用的因子旋轉方法。

最大四次方值法

一種旋轉方法，它可以使得解釋每個變量所需的因子最少，簡化了觀察變量的解釋。

最大平衡值法

一種旋轉方法，是簡化因子的最大方差法與簡化變量的最大四次方值法的組合，可以使得高度依賴因子的變量個數以及解釋變量所需的因子的個數最少。

最優斜交旋轉

斜交旋轉，可使因子相關聯，該旋轉比直接最小斜交旋轉更快的計算出來，適用于大型數據集。

因子得分

我們可以反過來將公共因子表示為原變量的線性組合，即可得出因子得分
${x1=u1+a11f1+a12f2+?+a1mfm+ε1x2=u2+a21f1+a22f2+?+a2mfm+ε2?xp=up+ap1f1+ap2f2+?+apmfm+εp→{f1=b11x1+b12x2+?+b1pxpf2=b21x1+b22x2+?+b2pxp?fm=bm1x1+bm2x2+?+bmpxp\begin{cases} x_1=u_1+a_{11}f_1+a_{12}f_2+\cdots+a_{1m}f_m+\varepsilon_1\\ x_2=u_2+a_{21}f_1+a_{22}f_2+\cdots+a_{2m}f_m+\varepsilon_2\\ \qquad\vdots\\ x_p=u_p+a_{p1}f_1+a_{p2}f_2+\cdots+a_{pm}f_m+\varepsilon_p\\ \end{cases}\to \begin{cases} f_1=b_{11}x_1+b_{12}x_2+\cdots+b_{1p}x_p\\ f_2=b_{21}x_1+b_{22}x_2+\cdots+b_{2p}x_p\\ \qquad\vdots\\ f_m=b_{m1}x_1+b_{m2}x_2+\cdots+b_{mp}x_p\\ \end{cases}$
第 $i$ 個因子的得分可以寫成 $fi=bi1x1+bi2x2+?+bipxp(i=1,2,?,m)f_i=b_{i1}x_1+b_{i2}x_2+\cdots+b_{ip}x_p\quad(i=1,2,\cdots,m)$

可以通過回歸、Bartlett、Anderson-Rubin方法計算因子得分。第三種方法比較常用。

Anderson-Rubin方法是一種估計因子得分的方法，對Bartlett方法進行了修正，從而確保被估計的因子的正交性，生成的分數平均值為0，標準差為1，且不相關。

判斷是否適合因子分析的檢驗——KMO檢驗和巴特利特球形檢驗

KMO檢驗：

KMO統計量是取值在0和1之間， KMO值越接近于1，意味著變量間的相關性越強，原有變量越適合作因子分析；當所有變量間的簡單相關系數平方和接近0時， KMO值越接近于0,意味著變量間的相關性越弱，原有變量越不適合作因子分析

直接上結論，KMO>0.9,非常適合； 0.8<KMO<0.9,適合；0.7<KMO<0.8, 一般； 0.6<KMO<0.7,不太適合； KMO<0.5,不適合

巴特利特球形檢驗：

基于假設檢驗：原假設：相關系數矩陣是單位陣

直接上結論，如果巴特利特檢驗的統計量對應的p值小于用戶心中的顯著性水平（一般為0.05），那么拒絕原假設，認為相關系數不可能是單位陣，適合因子分析

SPSS可以直接進行上述檢驗。

因子分析的應用

給定下列各個國家的數據，試找出各個指標的因子

序號國家一百米兩百米四百米八百米一千五百米五千米一萬米馬拉松

1	阿根廷	10.39	20.81	46.84	1.81	3.7	14.04	29.36	137.72
2	澳大利亞	10.31	20.06	44.84	1.74	3.57	13.28	27.66	128.3
3	奧地利	10.44	20.81	46.82	1.79	3.6	13.26	27.72	135.9
4	比利時	10.34	20.68	45.04	1.73	3.6	13.22	27.45	129.95
5	百慕大	10.28	20.58	45.91	1.8	3.75	14.68	30.55	146.62
6	巴西	10.22	20.43	45.21	1.73	3.66	13.62	28.62	133.13
7	緬甸	10.64	21.52	48.3	1.8	3.85	14.45	30.28	139.95
8	加拿大	10.17	20.22	45.68	1.76	3.63	13.55	28.09	130.15
9	智利	10.34	20.8	46.2	1.79	3.71	13.61	29.3	134.03
10	中國	10.51	21.04	47.3	1.81	3.73	13.9	29.13	133.53
11	哥倫比亞	10.43	21.05	46.1	1.82	3.74	13.49	27.88	131.35
12	庫克群島	12.18	23.2	52.94	2.02	4.24	16.7	35.38	164.7
13	哥斯達黎加	10.94	21.9	48.66	1.87	3.84	14.03	28.81	136.58
14	捷克斯洛伐克	10.35	20.65	45.64	1.76	3.58	13.42	28.19	134.32
15	丹麥	10.56	20.52	45.89	1.78	3.61	13.5	28.11	130.78
16	多米尼加共和國	10.14	20.65	46.8	1.82	3.82	14.91	31.45	154.12
17	芬蘭	10.43	20.69	45.49	1.74	3.61	13.27	27.52	130.87
18	法國	10.11	20.38	45.28	1.73	3.57	13.34	27.97	132.3
19	德意志民主共和	10.12	20.33	44.87	1.73	3.56	13.17	27.42	129.92
20	德意志聯邦共和	10.16	20.37	44.5	1.73	3.53	13.21	27.61	132.23
21	大不列顛及北愛	10.11	20.21	44.93	1.7	3.51	13.01	27.51	129.13
22	希臘	10.22	20.71	46.56	1.78	3.64	14.59	28.45	134.6
23	危地馬拉	10.98	21.82	48.4	1.89	3.8	14.16	30.11	139.33
24	匈牙利	10.26	20.62	46.02	1.77	3.62	13.49	28.44	132.58
25	印度	10.6	21.42	45.73	1.76	3.73	13.77	28.81	131.98
26	印度尼西亞	10.59	21.49	47.8	1.84	3.92	14.73	30.79	148.83
27	以色列	10.61	20.96	46.3	1.79	3.56	13.32	27.81	132.35
28	愛爾蘭	10.71	21	47.8	1.77	3.72	13.66	28.93	137.55
29	意大利	10.01	19.72	45.26	1.73	3.6	13.23	27.52	131.08
30	日本	10.34	20.81	45.86	1.79	3.64	13.41	27.72	128.63
31	肯尼亞	10.46	20.66	44.92	1.73	3.55	13.1	27.38	129.75
32	韓國	10.34	20.89	46.9	1.79	3.77	13.96	29.23	136.25
33	朝鮮人民民主共	10.91	21.94	47.3	1.85	3.77	14.13	29.67	130.87
34	盧森堡	10.35	20.77	47.4	1.82	3.67	13.64	29.08	141.27
35	馬來西亞	10.4	20.92	46.3	1.82	3.8	14.64	31.01	154.1
36	毛里求斯	11.19	22.45	47.7	1.88	3.83	15.06	31.77	152.23
37	墨西哥	10.42	21.3	46.1	1.8	3.65	13.46	27.95	129.2
38	荷蘭	10.52	20.95	45.1	1.74	3.62	13.36	27.61	129.02
39	新西蘭	10.51	20.88	46.1	1.74	3.54	13.21	27.7	128.98
40	挪威	10.55	21.16	46.71	1.76	3.62	13.34	27.69	131.48
41	巴布亞新幾內亞	10.96	21.78	47.9	1.9	4.01	14.72	31.36	148.22
42	菲律賓	10.78	21.64	46.24	1.81	3.83	14.74	30.64	145.27
43	波蘭	10.16	20.24	45.36	1.76	3.6	13.29	27.89	131.58
44	葡萄牙	10.53	21.17	46.7	1.79	3.62	13.13	27.38	128.65
45	羅馬尼亞	10.41	20.98	45.87	1.76	3.64	13.25	27.67	132.5
46	新加坡	10.38	21.28	47.4	1.88	3.89	15.11	31.32	157.77
47	西班牙	10.42	20.77	45.98	1.76	3.55	13.31	27.73	131.57
48	瑞士	10.25	20.61	45.63	1.77	3.61	13.29	27.94	130.63
49	瑞典	10.37	20.46	45.78	1.78	3.55	13.22	27.91	131.2
50	中國臺北	10.59	21.29	46.8	1.79	3.77	14.07	30.07	139.27
51	泰國	10.39	21.09	47.91	1.83	3.84	15.23	32.56	149.9
52	土耳其	10.71	21.43	47.6	1.79	3.67	13.56	28.58	131.5
53	美國	9.93	19.75	43.86	1.73	3.53	13.2	27.43	128.22
54	蘇聯	10.07	20	44.6	1.75	3.59	13.2	27.53	130.55
55	西薩摩亞	10.82	21.86	49	2.02	4.24	16.28	34.71	161.83

我們可以通過SPSS進行因子分析

因子分析的SPSS實現

1.我們在SPSS界面點擊分析——降維——因子

2.SPSS因子分析通常要做兩次，要提取因子，第一次是基于特征值得到碎石圖，進而得出選取多少個因子，可以解釋大多數變量。第二次再選擇固定數目的因子。

3.在描述的按鈕內，選中初始解，系數，顯著性水平，KMO檢驗和巴特利特球形檢驗。

4.選擇因子旋轉的方法，由于因子旋轉最常用的方法是最大方差法，所以我們選中最大方差法，我們需要顯示旋轉后的解和載荷圖，故勾選。

5.我們選擇計算因子得分的方法——安德森魯賓法，因為這個方法是計算得分比較好的方法。

6.點擊確定

7.我們看到了KMO和巴特利特球形檢驗的結果，可以發現KMO>0.9且巴特利特統計量的顯著性小于0.001，所以適合做因子分析

8.我們看到了碎石圖，可以明顯看出，前兩個特征值可以解釋大多數的信息，所以我們回到2.，把提取的法則定為因子的固定數目2

9.點擊確定，再次運行因子分析

這是因子旋轉之前的成分矩陣，我們發現因子1在各個變量上的載荷都近似相同，難以解釋。

這是旋轉后的成分矩陣，我們發現，隨著跑步距離增加，因子1在增加，因子2在減少，這說明因子1可以理解為耐力，因子2可以理解為爆發力。

我們的模型可以這樣得到

設一百米，兩百米，四百米，八百米，一千五百米，五千米，一萬米，馬拉松分別為 $x1,x2,?,x8x_1,x_2,\cdots,x_8$ ，因子1，因子2分別為 $f_1,f_2$ ，則
${x1=0.274f1+0.935f2x2=0.376f1+0.893f2x3=0.543f1+0.773f2x4=0.712f1+0.627f2x5=0.813f1+0.525f2x6=0.902f2+0.389f2x7=0.903f1+0.397f2x8=0.936f1+0.261f2\begin{cases} x_1=0.274f_1+0.935f_2\\ x_2=0.376f_1+0.893f_2\\ x_3=0.543f_1+0.773f_2\\ x_4=0.712f_1+0.627f_2\\ x_5=0.813f_1+0.525f_2\\ x_6=0.902f_2+0.389f_2\\ x_7=0.903f_1+0.397f_2\\ x_8=0.936f_1+0.261f_2 \end{cases}$
我們因子旋轉所使用的正交矩陣是
$T=[0.7590.651?0.6510.759]T=\begin{bmatrix} 0.759& 0.651 \\ -0.651& 0.759 \end{bmatrix}$
這是我們的因子旋轉后的空間組件圖

可以發現，隨著距離的增加，組件1增加，組件2減少，所以組件1是耐力，組建2是爆發力，這個假設是合理的。

因子得分

我們看到了成分得分系數矩陣，這就是因子得分。

${f1=?0.300x1?0.222x2?0.068x3+0.100x4+0.207x5+0.324x6+0.321x7+0.406x8f2=+0.540x1+0.459x2+0.291x3+0.103x4?0.019x5?0.161x6?0.157x7?0.269x8\begin{cases} f_1=-0.300x_1-0.222x_2-0.068x_3+0.100x_4+0.207x_5+0.324x_6+0.321x_7+0.406x_8\\ f_2=+0.540x_1+0.459x_2+0.291x_3+0.103x_4-0.019x_5-0.161x_6-0.157x_7-0.269x_8\\ \end{cases}$

總方差解釋表

上表為總方差解釋表，給出了每個公共因子所解釋的方差及累計和。
從“初始特征值”一欄中可以看出，前2個公共因子解釋的累計方差達93.747%，而后面的公共因子的特征值較小，對解釋原有變量的貢獻越來越小，因此提取兩個公共因子是合適的。
“提取載荷平方和” 一欄是在未旋轉時被提取的2個公共因子的方差貢獻信息，其與“初始特征值”欄的前兩行取值一樣。
“旋轉載荷平方和”是旋轉后得到的新公共因子的方差貢獻信息，和未旋轉的貢獻信息相比，每個公共因子的方差貢獻率有變化，但最終的累計方差貢獻率不變。

總結

以上是生活随笔為你收集整理的因子分析以及SPSS实现的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

因子
SPSS

上一篇：介质控制访问为什么不适用多路复用技术来解
下一篇：什么是光缆