聚类算法学习
聚類是一種非監督學習方法
在一個典型的監督學習中,我們有一個有標簽的訓練集,我們的目標是找到能夠區分正
樣本和負樣本的決策邊界,在這里的監督學習中,我們有一系列標簽,我們需要據此擬合一 個假設函數。與此不同的是,在非監督學習中,我們的數據沒有附帶任何標簽,我們拿到的 數據就是這樣的:
在這里我們有一系列點,卻沒有標簽。因此,我們的訓練集可以寫成只有 x(1),x(2)…..一直 到 x(m)。我們沒有任何標簽 y。因此,圖上畫的這些點沒有標簽信息。也就是說,在非監督 學習中,我們需要將一系列無標簽的訓練數據,輸入到一個算法中,然后我們告訴這個算法, 快去為我們找找這個數據的內在結構給定數據。我們可能需要某種算法幫助我們尋找一種結 構。圖上的數據看起來可以分成兩個分開的點集(稱為簇),一個能夠找到我圈出的這些點集的算法,就被稱為聚類算法。
K-均值算法
K-均值是最普及的聚類算法,算法接受一個未標記的數據集,然后將數據聚類成不同的 組。
K-均值是一個迭代算法,假設我們想要將數據聚類成 n 個組,其方法為:
- 首先選擇 K 個隨機的點,稱為聚類中心(cluster centroids);
- 對于數據集中的每一個數據,按照距離 K 個中心點的距離,將其與距離最近的中心點關
聯起來,與同一個中心點關聯的所有點聚成一類。 - 計算每一個組的平均值,將該組所關聯的中心點移動到平均值的位置。
- 重復步驟 2-4 直至中心點不再變化。
算法分為兩個步驟,第一個 for 循環是賦值步驟,即:對于每一個樣例 i,計算其應該屬
于的類。第二個 for 循環是聚類中心的移動,即:對于每一個類 k,重新計算該類的質心。
K-均值算法也可以很便利地用于將數據分為許多不同組,即使在沒有非常明顯區分的組 群的情況下也可以。下圖所示的數據集包含身高和體重兩項特征構成的,利用 K-均值算法將
數據分為三類,用于幫助確定將要生產的 T-恤衫的三種尺寸。
優化目標
K-均值最小化問題,是要最小化所有的數據點與其所關聯的聚類中心點之間的距離之和, 因此 K-均值的代價函數(又稱畸變函數 Distortion function)為:
隨機初始化
在運行 K-均值算法的之前,我們首先要隨機初始化所有的聚類中心點,下面介紹怎樣 做:
1. 我們應該選擇 K< m,即聚類中心點的個數要小于所有訓練集實例的數量
2. 隨機選擇 K 個訓練實例,然后令 K 個聚類中心分別與這 K 個訓練實例相等
K-均值的一個問題在于,它有可能會停留在一個局部最小值處,而這取決于初始化的情
況。
為了解決這個問題,我們通常需要多次運行 K-均值算法,每一次都重新進行隨機初始 化,最后再比較多次運行 K-均值的結果,選擇代價函數最小的結果。這種方法在 K 較小的時 候(2–10)還是可行的,但是如果 K 較大,這么做也可能不會有明顯地改善。
選擇聚類數
沒有所謂最好的選擇聚類數的方法,通常是需要根據不同的問題,人工進行選擇的。選
擇的時候思考我們運用 K-均值算法聚類的動機是什么,然后選擇能最好服務于該目的標聚 類數。
當人們在討論,選擇聚類數目的方法時,有一個可能會談及的方法叫作“肘部法則”。 關于“肘部法則”,我們所需要做的是改變 K 值,也就是聚類類別數目的總數。我們用一個 聚類來運行 K 均值聚類方法。這就意味著,所有的數據都會分到一個聚類里,然后計算成本 函數或者計算畸變函數 J。K 代表聚類數字。
我們可能會得到一條類似于這樣的曲線。像一個人的肘部。這就是“肘部法則”所做的, 讓我們來看這樣一個圖,看起來就好像有一個很清楚的肘在那兒。好像人的手臂,如果你伸 出你的胳膊,那么這就是你的肩關節、肘關節、手。這就是“肘部法則”。你會發現這種模 式,它的畸變值會迅速下降,從 1 到 2,從 2 到 3 之后,你會在 3 的時候達到一個肘點。在 此之后,畸變值就下降的非常慢,看起來就像使用 3 個聚類來進行聚類是正確的,這是因為 那個點是曲線的肘點,畸變值下降得很快,K 等于 3 之后就下降得很慢,那么我們就選 K 等 于 3。當你應用“肘部法則”的時候,如果你得到了一個像上面這樣的圖,那么這將是一種 用來選擇聚類個數的合理方法。
但也有可能不會有很明顯的結果，只是平緩的下降，這樣肘部法則就失效了。
我們也可以通過商業上的考慮來決定分類數
例如,我們的 T-恤制造例子中,我們要將用戶按照身材聚類,我們可以分成 3 個尺寸 S,M,L 也可以分成 5 個尺寸 XS,S,M,L,XL,這樣的選擇是建立在回答“聚類后我們制造的 T-恤 是否能較好地適合我們的客戶”這個問題的基礎上作出的。
總結
- 上一篇： Python下载中国数据库大会（DTCC
- 下一篇： 一篇文章搞懂数据仓库：三范式与反范式