從第九章開(kāi)始，學(xué)習(xí)總結(jié)的東西有所不同了，第2-8章是分類問(wèn)題，都屬于監(jiān)督學(xué)習(xí)，第9章EM算法是非監(jiān)督學(xué)習(xí)。本文主要是總結(jié)EM算法的應(yīng)用以及處理問(wèn)題的過(guò)程和原理推導(dǎo)。

EM算法

EM算法(期望極大算法 Expectation Maximization Algorithm)是一種迭代算法。當(dāng)我們面對(duì)概率模型的時(shí)候，既有觀測(cè)變量，又含有隱變量或者潛在變量。如果概率模型的變量都是觀測(cè)變量，那么給定數(shù)據(jù)，可以直接使用極大似然估計(jì)法或者貝葉斯估計(jì)模型估計(jì)參數(shù)，但是，當(dāng)模型含有隱變量的時(shí)候，就不能簡(jiǎn)單地這樣估計(jì)，此時(shí)，在1977年，Dempster等人總結(jié)提出EM算法：E步：求期望(expectation);M步：求極大值(maximization)。

推導(dǎo)過(guò)程

上述闡述了EM算法，可是為什么EM算法能近似實(shí)現(xiàn)對(duì)觀測(cè)數(shù)據(jù)的極大似然估計(jì)呢？下面通過(guò)近似求解觀測(cè)數(shù)據(jù)的對(duì)數(shù)似然函數(shù)的極大化問(wèn)題來(lái)導(dǎo)出EM算法，從而了解EM算法的作用。

在推導(dǎo)過(guò)程中用到的公式：

EM算法在高斯混合模型學(xué)習(xí)中的應(yīng)用

高斯混合模型

推導(dǎo)過(guò)程

明確隱變量，寫出完全數(shù)據(jù)的對(duì)數(shù)似然函數(shù)

EM算法的E步，確定Q函數(shù)

確定EM算法的M步

EM算法的推廣

GEM算法

總結(jié)

以上是生活随笔為你收集整理的em算法详细例子及推导_第九章-EM算法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。