I. 牛頓迭代法
給定一個(gè)復(fù)雜的非線性函數(shù)f(x)，希望求它的最小值，我們一般可以這樣做，假定它足夠光滑，那么它的最小值也就是它的極小值點(diǎn)，滿足f′(x0)=0，然后可以轉(zhuǎn)化為求方程f′(x)=0的根了。非線性方程的根我們有個(gè)牛頓法，所以

?

然而，這種做法脫離了幾何意義，不能讓我們窺探到更多的秘密。我們寧可使用如下的思路：在y=f(x)的x=xn這一點(diǎn)處，我們可以用一條近似的曲線來逼近原函數(shù)，如果近似的曲線容易求最小值，那么我們就可以用這個(gè)近似的曲線求得的最小值，來近似代替原來曲線的最小值：

顯然，對近似曲線的要求是：
1、跟真實(shí)曲線在某種程度上近似，一般而言，要求至少具有一階的近似度；
2、要有極小值點(diǎn)，并且極小值點(diǎn)容易求解。

這樣，我們很自然可以選擇“切拋物線”來近似（用二階泰勒展開近似原曲線）：

?

該拋物線具有二階的精度。對于這條拋物線來說，極值點(diǎn)是(-b/(2*a))

所以我們重新得到了牛頓法的迭代公式：

如果f(x)足夠光滑并且在全局只有一個(gè)極值點(diǎn)，那么牛頓法將會(huì)是快速收斂的（速度指數(shù)增長），然而真實(shí)的函數(shù)并沒有這么理想，因此，它的缺點(diǎn)就暴露出來了：

1、需要求二階導(dǎo)數(shù)，有些函數(shù)求二階導(dǎo)數(shù)之后就相當(dāng)復(fù)雜了；
2、因?yàn)?span style="color:#ff0000;">f″(xn)的大小不定，所以g(x)開口方向不定，我們無法確定最后得到的結(jié)果究竟是極大值還是極小值。

?

II. 梯度下降

這兩個(gè)缺點(diǎn)在很多問題上都是致命性的，因此，為了解決這兩個(gè)問題，我們放棄二階精度，即去掉f″(xn)，改為一個(gè)固定的正數(shù)1/h：

這條近似曲線只有一階精度，但是同時(shí)也去掉了二階導(dǎo)數(shù)的計(jì)算，并且保證了這是一條開口向上的拋物線，因此，通過它來迭代，至少可以保證最后會(huì)收斂到一個(gè)極小值（至少是局部最小值）。上述g(x)的最小值點(diǎn)為

所以我們得到迭代公式

對于高維空間就是

這就是著名的梯度下降法了。當(dāng)然，它本身存在很多問題，但很多改進(jìn)的算法都是圍繞著它來展開，如隨機(jī)梯度下降等等。

這里我們將梯度下降法理解為近似拋物線來逼近得到的結(jié)果，既然這樣子看，讀者應(yīng)該也會(huì)想到，憑啥我一定要用拋物線來逼近，用其他曲線來逼近不可以嗎？當(dāng)然可以，對于很多問題來說，梯度下降法還有可能把問題復(fù)雜化，也就是說，拋物線失效了，這時(shí)候我們就要考慮其他形式的逼近了。事實(shí)上，其他逼近方案，基本都被稱為EM算法，恰好就只排除掉了系出同源的梯度下降法，實(shí)在讓人不解。

根據(jù)一階泰勒展開，對于一個(gè)可微函數(shù)，對于任意的x，有：

$ f(x+\alpha p)=f(x)+\alpha * g(x)*p+o(\alpha *\left| p \right|)?$

其中：$ g(x)*p = \left| g(x) \right| *\left| p \right| *cos\theta $ ?,$\theta$是兩向量之間的夾角,p是搜索方向

當(dāng) $\theta $ 為180度得時(shí)候，$g(x)*p$ 可取到最小值，即為下降最快的方向。所以，負(fù)梯度方向?yàn)楹瘮?shù)f(x)下降最快的方向，x為未知參數(shù)，對X進(jìn)行迭代更新

如果f(x)是凸函數(shù)，則局部最優(yōu)解就是全局最優(yōu)解。

V. K-Means

K-Means聚類很容易理解，就是已知N個(gè)點(diǎn)的坐標(biāo)xi,i=1,…,N，然后想辦法將這堆點(diǎn)分為K類，每個(gè)類有一個(gè)聚類中心cj,j=1,…,K，很自然地，一個(gè)點(diǎn)所屬的類別，就是跟它最近的那個(gè)聚類中心cj所代表的類別，這里的距離定義為歐式距離。
所以，K-Means聚類的主要任務(wù)就是求聚類中心cj。我們當(dāng)然希望每個(gè)聚類中心正好就在類別的“中心”了，用函數(shù)來表示出來，就是希望下述函數(shù)L最小(kmeans目標(biāo)函數(shù)是平方損失函數(shù))：

?

其中，min操作保證了每個(gè)點(diǎn)只屬于離它最近的那一類。
如果直接用梯度下降法優(yōu)化L，那么將會(huì)遇到很大困難，不過這倒不是因?yàn)閙in操作難以求導(dǎo)，而是因?yàn)檫@是一個(gè)NP的問題，理論收斂時(shí)間隨著N成指數(shù)增長。這時(shí)我們也是用EM算法的，這時(shí)候EM算法表現(xiàn)為：
1、隨機(jī)選K個(gè)點(diǎn)作為初始聚類中心；
2、已知K個(gè)聚類中心的前提下，算出各個(gè)點(diǎn)分別屬于哪一類，然后用同一類的所有點(diǎn)的平均坐標(biāo)，來作為新的聚類中心。

這種方法迭代幾次基本就能夠收斂了，那么，這樣做的理由又在哪兒呢？

聚類問題：給定數(shù)據(jù)點(diǎn)，給定分類數(shù)目，求出個(gè)類中心，使得所有點(diǎn)到距離該點(diǎn)最近的類中心的距離的平方和最小。

含隱變量的最大似然問題：給定數(shù)據(jù)點(diǎn)，給定分類數(shù)目，考慮如下生成模型，

模型中為隱變量，表示簇的類別。

這個(gè)式子的直觀意義是這樣的，對于某個(gè)將要生成的點(diǎn)和類別號，如果不滿足“到中心的距離小于等于到其他中心的距離”的話，則不生成這個(gè)點(diǎn)。如果滿足的話，則取值就是這個(gè)“最近的”類中心的編號（如果有多個(gè)則均等概率隨機(jī)取一個(gè)），以高斯的概率密度在這個(gè)類中心周圍生成點(diǎn)。

用EM算法解這個(gè)含隱變量的最大似然問題就等價(jià)于用K-means算法解原聚類問題。

Q函數(shù)是完全數(shù)據(jù)的對數(shù)似然函數(shù)關(guān)于在給定X和參數(shù)$\mu$的情況下對隱變量Z的條件概率的期望，em算法通過求解對數(shù)似然函數(shù)的下界的極大值逼近求解對數(shù)似然函數(shù)的極大值。

這和K-means算法中根據(jù)當(dāng)前分配的樣本點(diǎn)求新的聚類中心的操作是一樣的。

---

k-means是GMM的簡化，而不是特例。?

共同點(diǎn)：都是使用交替優(yōu)化算法，要優(yōu)化的參數(shù)分為兩組，固定一組，優(yōu)化另一組。

• GMM是先固定模型參數(shù)，優(yōu)化 ；然后固定，優(yōu)化。
• k-means是先固定(聚類中心)，優(yōu)化聚類賦值；然后固定聚類賦值，優(yōu)化。

k-means對GMM的簡化有：

• ，模型中混合權(quán)重相等
• ，各個(gè)成分的協(xié)方差相等，且固定為單位矩陣的倍數(shù)
• 分配給各個(gè)component的方式，由基于概率變?yōu)閣inner-take-all方式的 hard 賦值。（kmeans中，某樣本點(diǎn)和模型中某個(gè)子成分，如果該樣本點(diǎn)與子成分的中心距離最小，則以高斯的概率密度在中心點(diǎn)周圍生成這個(gè)點(diǎn)，否則就不生成這個(gè)點(diǎn)。而GMM中，每個(gè)子成分都有可能生成該樣本點(diǎn)，概率值為子成分的系數(shù)）

所以說GMM是更為flexible的model，由于大量的簡化，使得k-means算法收斂速度快于GMM，并且通常使用k-means對GMM進(jìn)行初始化。

?

??

轉(zhuǎn)自：?

http://spaces.ac.cn/archives/4277/

https://www.zhihu.com/question/49972233

轉(zhuǎn)載于:https://www.cnblogs.com/ljygoodgoodstudydaydayup/p/7274943.html

總結(jié)

以上是生活随笔為你收集整理的梯度下降和EM算法，kmeans的em推导的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。