? ? ? ? 解決含有隱變量的問題有很多種方法，今天循序漸進地說幾個最基本的，其中第四種方法就是通常所說的em算法。下面以統計學習方法中給出的三硬幣問題為例來分別描述這三種方法。（a，b，c三硬幣拋出來為正的概率分別為pai，p，q，每輪拋硬幣先拋a硬幣，a為正則拋b硬幣，a為反則拋c硬幣。把b硬幣或者c硬幣的結果（正或反）作為最終結果，即樣觀測值。）

第一種方法：

現在我們只知道樣本的觀測值集合，我們可以以每一個樣本觀測值（例如y1=1）為一個單位單獨考察。在這種方法之下，我們并不關注pai的值是多少，即拋出a為正的概率，只關注與該樣本觀測值相對應的拋的那次a硬幣的結果究竟是正還是反，只要知道了它的正反，我們就可以知道本次的觀測值究竟是b拋出來的還是c拋出來的。我們先給p、q賦一個初值，使用的方法也可以算是最大似然估計，就是我分別假設a拋出的是正面或反面，然后分別計算在a是正面和a是反面的時候有多大的可能性會拋出該觀測值。如果假定a是正面時出現當前觀測值的概率更大，我們就把該次的a認定為正面，反之則認定為反面。使用這種方法可以分別定義每個樣本觀測值對應的a是正面還是反面。計算出a為正面時對應的觀測值中有多少為正有多少為反，就能根據最大似然估計得出p值和q值。然而這種方法實際上是行不通的，因為如果初始值p=q，則無法判斷結果是哪個拋出來的；如果初始值p>q，則所有正面都會被認為是p拋出來的，所有反面都會被認為是q拋出來的，這樣最后計算出來p、q的值就會分別為1和0，顯然不行；p<q時同理，計算出來p、q的值就會分別為0和1，也不行。

第二種方法：

也就是統計學習方法p156頁用到的方法。該方法第一個方法的相同點就是都是以每一個觀測值作為一個單元單獨考察，不同就在于首先分別通過假設的方法給出pai、p、q的初值。這樣就可以通過貝葉斯公式計算出p(z|y)。（即統計學習方法p156頁9.5，看紅字部分即可方便理解）也就是說在當前觀測值對應的a為正和a為反的概率都能求出來。然后分別使用統計學習方法156頁的9.6~9.8三個公式(可參考p157紅色部分)

（也就是分別令新的pai，p，q這三個概率為該概率在當前情況下的期望，具體的：pai的期望就是每個樣本對應拋的硬幣a朝上的概率（即p(z=1|Y=y）之和除以拋硬幣a的次數（即樣本觀測值個數）。p的期望的式子中分子的含義是由硬幣b產生的觀測值中值為1（即拋硬幣結果為正)的觀測值的數量，分母為由硬幣c產生的觀測值的數量(即拋b硬幣的次數)。。。具體解釋：p的期望就是每個觀測值(1代表正)分別乘上該觀測值是拋硬幣b的出來的概率(即p(z=1|Y=y)，這個相當于每個觀測值在求p的期望時的權重)，然后都加起來，最后除以每個觀測值是由拋硬幣b得到的概率之和。q的期望的計算方法和p的相同。）

就能計算出新一輪的pai，p，q的值。就可以進行新一輪的迭代。

第三種方法（統計學習方法p157上面的em算法是對這個方法的改進）：

先列出整個樣本集合的觀測值共同出現的概率的計算公式，然后把這個計算公式前面加上log，轉化為對數最大似然估計估計函數。

然后：

（1）固定p、q，把pai作為未知數對最大似然函數求極值，該極值對應的pai即為新一輪的pai（在第一輪剛好知道知道p，q，不知道pai）。

（2）固定pai，q，以p作為最大似然函數的未知數求極值，得到新一輪的p。

（3）固定pai，p，以q作為最大似然函數的未知數求極值，得到新一輪的q。

之后不斷重復上面的(1)，(2)，(3)（m步），直到收斂為止。

附：對數似然函數的推導（見下圖）

第四種方法（em）：

第三種方法存在一個缺點，那就是上一種方法里面的對數似然函數L不易求極值，因為里面包含和的對數。這樣一來就需要想辦法改進。可以采用梯度下降法，也可以采用em算法，思路如下：如果在每次迭代出新的pai，p，q的值之后都能列出一個同樣是關于pai，p，q的函數Q，滿足只要Q(ξ1)＞Q(ξ)，就一定有L(ξ1)＞L(ξ)，那么我就可以每次求出一個能使Q增大的新的參數值，也就你能同時保證L增大了，這樣我們讓L增大的目標就實現了。經證明，令Q為等于為統計學習方法p157頁.9.9的形式就能確保上述假設成立。該方法的步驟如下：

（1）選擇pai，p，q的初值。

（2）e步：將初值（第一次執行e步的時候帶的是初值，執行第n次e步帶入的就是第n-1次迭代求出來的參數值）帶入求p(z|y)的公式，算出p(z|y)，并把算出來的p(z|y)的值作為常數帶入Q式中。

（3）求出使Q極大化的參數值，并將其作為本輪迭代產生的新的參數值。

（4）重復上面兩步直到收斂。

轉載于:https://www.cnblogs.com/lizhizhuang/p/8692612.html

總結

以上是生活随笔為你收集整理的EM算法的直观描述的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。