一、問(wèn)題的引出

????最大熵模型的學(xué)習(xí)過(guò)程就是求解最大熵模型的過(guò)程。最大熵模型的學(xué)習(xí)可以形式化為約束最優(yōu)化問(wèn)題。
????對(duì)于給定的訓(xùn)練數(shù)據(jù)集T={(x1,y1),(x2,y2),…,(xn,yn)}及特征函數(shù)fi(x,y)，i=1,2,…,n,最大熵模型的學(xué)習(xí)等價(jià)于約束最優(yōu)化問(wèn)題：

maxP∈CH(P)=?∑x,yP?(x)P(y|x)logP(y|x)s.t.Ep(fi)=Ep?(fi),i=1,2,…,n∑yP(y|x)=1
上式等價(jià)于：
minP∈C?H(P)=∑x,yP?(x)P(y|x)logP(y|x)s.t.Ep(fi)?Ep?(fi)=0,i=1,2,…,n∑yP(y|x)=1
????求解上式有約束的最優(yōu)化問(wèn)題，所得出的解，就是最大熵模型學(xué)習(xí)的解。

二、推導(dǎo)過(guò)程

????將約束最優(yōu)化的原問(wèn)題轉(zhuǎn)換為無(wú)約束最優(yōu)化問(wèn)題的對(duì)偶問(wèn)題，通過(guò)求解對(duì)偶問(wèn)題求解原問(wèn)題。
???? 首先，引入拉格朗日乘子w0,w1,?，wn, 定義拉格朗日函數(shù)L(P,w):

L(P,w)=?H(P)+w0(1?∑yP(y|x))+∑inwi(Ep(fi)?Ep?(fi))=∑x,yP?(x)P(y|x)logP(y|x)+w0(1?∑yP(y|x))+∑inwi(∑x,yP?(x,y)fi(x,y)?∑x,yP?(x)P(y|x)fi(x,y))
最優(yōu)化的原始問(wèn)題是：
minP∈CmaxwL(P,w)
對(duì)偶問(wèn)題是：
maxwminP∈CL(P,w)
由于拉格朗日函數(shù) L(P,w) 是 P的凸函數(shù)， 原問(wèn)題的解與對(duì)偶問(wèn)題的解是等價(jià)的。
首先求minP∈CL(P,w), minP∈CL(P,w)是 w的函數(shù)，記為：
Ψ(w)=minP∈CL(Pw,w),
Ψ(w)的解 記為：
Pw=argminP∈CL(P,w)=Pw(y|x)
求 L(P,w)對(duì) P(y|x)的偏導(dǎo)數(shù):
?L(P,w)?P(y|x)=∑x,yP?(x)(logP(y|x)+1)?∑yw0?∑x,y(P?(x)∑i=1nwifi(x,y))
令 偏導(dǎo)數(shù)=0 ，當(dāng) P?(x)>0時(shí)，
P(y|x)=exp(∑i=1nwifi(x,y)+w0?1)=exp(∑ni=1wifi(x,y))exp(1?w0)
由于 ∑yP(y|x)=1得：
exp(1?w0)=∑yexp(∑i=1nwifi(x,y))=Zw(x)Pw(y|x)=1Zw(x)exp(∑i=1nwifi(x,y))
其中， Zw(x)稱(chēng)為規(guī)范化因子， fi(x,y)為特征函數(shù)， wi是特征權(quán)值。 Pw(y|x)就是最大熵模型。之后，求解對(duì)偶問(wèn)題的最大化：
maxwΨ(w)
將其解記為：
w?=argmaxwΨ(w)

總結(jié)

以上是生活随笔為你收集整理的机器学习笔记（二十）——求解最大熵模型的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。