本篇博文介紹另外一種聚類方法——有序樣品聚類。有序樣品聚類要求樣品按一定的順序排列，分類時是不能打亂次序的，即同一類樣品必須是互相鄰接的。比如要將新中國成立以來國民收入的情況劃分為幾個階段，此階段的劃分必須依年份的順序為依據，又如研究天氣演變的歷史時，樣品是按從古到今的年代排列的，年代的次序也是不能打亂的。
如果用$X_1,X_2,?,X_n$表示$n$個有序的樣品，則每一類必須是這樣的形式：$\left\{X_i,X_{i+1},?,X_{i+k}\right\}$，其中$1\le i\le n,k\ge 0,i+k\le n$，即同一類樣品必須是相互鄰接的。研究這類問題稱為有序樣品的聚類法，該方法由Fisher在1958年提出。
有序樣品的聚類實質上是找一些分點，將有序樣品劃分為幾個分段，每個分段看做一個類，所以分類也稱為分割。顯然分點取在不同的位置就可以得到不同的分割。通常尋找最好分割的一個依據是使各段內部樣品之間的差異最小，而各段樣品之間的差異較大，所以有序樣品聚類法又稱為最優分割法。

有序樣品聚類的計算步驟

設有序樣品依次為$X_1,X_2,?,X_n$（$X_i$為$p$維向量）

定義類的直徑
設某一類$G$包含的樣品有$\left\{X_i,X_{i+1},?,X_j\right\}\left(j>i\right)$，記
${\bar{X}}_G=\frac{1}{j?i+1}\sum _{t=i}^j{X}_t$
用$D\left(i,j\right)$表示這一類的直徑，常用的直徑有
$D\left(i,j\right)=\sum _{t=i}^j{\left(X_t?{\bar{X}}_G\right)}^{\prime }\left(X_t?{\bar{X}}_G\right)$
當$p=1$時，有時用直徑為：
$D\left(i,j\right)=\sum _{t=i}^j\left|X_t?{\tilde{X}}_G\right|$
其中，${\tilde{X}}_G$是這一類數據的中位數。

定義分類的損失函數（或稱目標函數、誤差函數等）
用$b\left(n,k\right)$表示將$n$個有序樣品分為$k$類的某一種分法，常記分法為$b\left(n,k\right)$為$\left\{X_{i_1},X_{i_1+1},?,X_{i_2?1}\right\},\left\{X_{i_2},X_{i_2+1},?,X_{i_3?1}\right\},?,\left\{X_{i_k},X_{i_k+1},?,X_n\right\}$或簡記為：
$\left\{i_1,i_1+1,?,i_2?1\right\},\left\{i_2,i_2+1,?,i_3?1\right\},?,\left\{i_k,i_k+1,?,n\right\}$
其中分點為：$1=i_1<i_2<?<i_k<n=i_{k+1}?1$，即$i_{k+1}=n+1$
分類法的損失函數為：
$L\left[b\left(n,k\right)\right]=\sum _{t=1}^{k}D\left(i_t,i_{t+1}?1\right)$
當$n,k$固定時，$L\left[b\left(n,k\right)\right]$越小表示各類的離差平方和越小，分類是合理的。因此要尋求一種分法$b\left(n,k\right)$，使分類損失函數$L$達最小，記$P\left(n,k\right)$是使$L\left[b\left(n,k\right)\right]$達極小的分類法。

$L\left[b\left(n,k\right)\right]$的遞推公式
Fisher算法最核心的部分是利用以下兩個遞推公式：
$L\left[b\left(n,2\right)\right]=\underset{2\le j\le n}{\min }\left\{D\left(1,j?1\right)+D\left(j,n\right)\right\}$
$L\left[b\left(n,k\right)\right]=\underset{k\le j\le n}{\min }\left\{L\left[P\left(j?1,k?1\right)\right]+D\left(j,n\right)\right\}$
以上兩個公式由定義即可證明。其中第二式表示，若要將$n$個樣品分為$k$類的最優分割，應建立在將$j?1$個樣品分為$k?1$類的最優分割基礎上，這里$j=1,2,?,n$。

最優解求法
若分類數$k$$\left(1<k<n\right)$，求分類法$P\left(n,k\right)$使它在損失函數意義下達到最小，其求法如下：
首先，找分點$j_k$使$L\left[P\left(n,k\right)\right]=L\left[P\left(j_k?1,k?1\right)\right]+D\left(j,n\right)$最小，于是得第$k$類$G_k=\left\{j_k,j_k+1,?,n\right\}$，然后找$j_{k?1}$，使它滿足
$L\left[P\left(j_{k?1},k?1\right)\right]=L\left[P\left(j_{k?1}?1,k?2\right)\right]+D\left(j_{k?1},j_k?1\right)$
得到第$k?1$類$G_{k?1}=\left\{j_{k?1},?,j_k?1\right\}$，類似的方法依次可得到所有類$G_1,G_2,?,G_k$ ，這就是所求的最優解，即$P\left(n,k\right)=\left\{G_1,G_2,?,G_k\right\}$。
總之，最優分割法分類的依據是離差平方和，而算法的核心是兩個遞推公式。

下面以一個例子詳細說明有序樣本聚類法的計算過程。為了了解兒童的生長發育規律，今統計了男孩從出生到11歲每年平均增長的重量，如表1

• （1）計算直徑$D\left(i,j\right)$
  因每個樣品只有一個指標（維度）即$p=1$，所以$D\left(i,j\right)=\sum _{t=i}^j\left(X_t?{\bar{X}}_G\right)$，得到的樣本的直徑矩陣表2。例如，計算$D\left(5,7\right)$，此時類$G$包含三個樣品$\left\{X_5,X_6,X_7\right\}$，故有
  ${\bar{X}}_G=\frac{1}{3}\left(1.5+1.3+1.4\right)=1.4$，
  $D\left(5,7\right)={\left(1.5?1.4\right)}^2+{\left(1.3?1.4\right)}^2+{\left(1.4?1.4\right)}^2=0.02$
  
• （2）計算最小分類損失函數$\left\{L\left[P\left(l,k\right)\right],3\le l\le 11,2\le k\le 10\right\}$，即分別計算將$L$個樣品分成2類、3類……時，最優分割的損失函數的所有結果，得到表3。其中，
  $L\left(P\left(3,2\right)\right)=\underset{2\le j\le 3}{\min }\left\{D\left(1,j?1\right)+D\left(j,3\right)\right\}=\min \left\{D\left(1,1\right)+D\left(2,3\right),D\left(1,2\right)+D\left(3,3\right)\right\}=\min \left\{0+0.005,28.125+0\right\}=0.005$
  $L\left(P\left(4,3\right)\right)=\min \left\{L\left(P\left(2,2\right)\right)+D\left(3,4\right),L\left(P\left(3,2\right)\right)+D\left(4,4\right)\right\}=\min \left\{0.02,0.005\right\}=0.005$
  
• （3）求最優分類
  假如我們希望分成三類即$k=3$，由表3最后一行查得$L\left[P\left(11,3\right)\right]=0.368$，括號中數字是8，這說明最優分類的損失函數是0.368，分類時首先分出第三類$G_3=\left\{X_8～X_{11}\right\}$，再對其余的7個樣品考慮分為兩類的最優法，查表3中$l=7,k=2$的位置得$L\left[P\left(7,2\right)\right]=0.280$，括號中數字是2，故$G_2=\left\{X_2～X_7\right\}$，則$G_1=\left\{X_1\right\}$。從而求得最優分類
  $P\left(11,3\right)$：$\left\{X_1\right\}$，$\left\{X_2～X_7\right\}$，$\left\{X_8～X_{11}\right\}$
  當$k$取其余值時，分類情況列于表4中，
  
• （4）決定$k$

如果從生理角度預先能定出k當然最好，從表4即可知道分類，有時事先不能確定k,這時可作出$L\left[P\left(l,k\right)\right]$隨$k$變化的曲線，如圖1，我們可以看到$k=3,4$處拐彎，以分成三類或四類為好。

經過上面的介紹我們對有序樣品聚類的基本思想、計算步驟，下面舉一個案例幫助大家更好的理解和使用有序樣品聚類。從三大產業構成角度，運用有序樣品聚類法對我國1978年-2009年國民經濟發展周期進行聚類分析，具體使用指標為第一產業占GDP的比重、第二產業占GDP的比重、第三產業占GDP的比重，如表5（注：數據來自于中國經濟社會大數據研究平臺）。






根據損失函數隨分類數變化趨勢圖可得，當分類數為6時，處于拐點位置。所以劃分為6類比較合適。然后根據表9的分類表可得，具體分類為1978–1981年、1982–1984年、1985–1992年、1993–1998年、1999–2004年、2005–2009年。結合GDP增長率對比分析，得出三大產業構成對經濟周期劃分的經濟含義， 1978–1981年是經濟周期的下降階段； 1982–1984年由于實行家庭聯產承包責任制，第一產業比重有所增加，且由于工業化水平有限，第一產業比重的增加促進了經濟的增長； 1985–1992年第三產業的比重大幅上升，服務業吸納了大量的勞動力，但由于工業化水平不高，經濟增長并不迅速； 1993–1998年第二產業的比重不斷增加，表明工業化進入一個新階段，產業結構趨于合理，但由于國企改革的困境，反而使經濟增長出現了下降； 1999–2004年第二產業和第三產業比重都在增加，促進了經濟的發展，經濟增長率開始增加； 2005–2009年經濟在進一步增長后，由于經濟危機、通貨膨脹等因素，經濟增長率有所下降。


附：由于表5-表9的圖片較大，不是特別清晰。為了方便小伙伴兒們查看具體數值，將其共享到網盤中了，如有需要請點擊以下鏈接自行下載。
鏈接：https://pan.baidu.com/s/1m8GivWh8iv2h_gZQ90KH4A
提取碼：gsy8

ps：初衷是通過撰寫博文記錄自己所學所用，實現知識的梳理與積累；將其分享，希望能夠幫到面臨同樣困惑的小伙伴兒。如發現博文中存在問題，歡迎隨時交流~~

總結

以上是生活随笔為你收集整理的聚类篇——（四）有序样品聚类的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。