【机器学习实战】极大似然法
2019獨角獸企業重金招聘Python工程師標準>>>
http://baike.baidu.com/link?url=3Ej1VIItwWd35sXeoRWRhcJkJLCFvzPzNIoTkAfai8ZIS4Ppcch4_maQ25FjNCU1Eplsp4k3oPKLyv6VIsPhsq
一、
最大似然法是一種具有理論性的點估計法，基本思想是，當從模型總體隨機抽取N組樣本觀測值后，最合理的參數估計量應該使得從模型中抽取N組樣本觀測值的概率最大。
二、
離散型:
假如一個罐子，里面有黑白兩種顏色的球，數目不知，比例不知。我們想知道罐中黑白比例。不能把全部拿出。我們隨機取出一個球，并記錄顏色。若100此實驗，70次白球。
設白球比例為P，則黑球為1-P。
P(Xi|M) = P(x1,x2,x3,...,x100 | M) = P(x1|M) *?P(x2|M) * ... *?P(x100|M) = P^70 * (1-P)^30
求Max{P^70 * (1-P)^30} ==> 對P求導=0
70*P^69*(1-P)^30 + P^70 * [-(1-P)^29 * 30] = 0 ===> P= 0.7
連續型：X~N(a,b^2)(正態分布);a,b是未知參數，x1,x2,x3....xn來自X的一個樣本值。求a，b的極大似然估計值
X的概率密度函數為：
f(x;a,b^2) = 1/Math.sqrt(2*pi)*b ?* ?e^{-1 / 2b^2 ? * (x-a)^2}?
似然函數為：
L(a,b^2)=∏1/Math.sqrt(2*pi)*b ?* ?e^{-1 / 2b^2 ? * (x-a)^2}
求對數
lnL(a,b^2) = ln{1/Math.sqrt(2*pi)*b ?* ?e^{-1 / 2b^2 ? * (x1-a)^2}} + ... + ln{1/Math.sqrt(2*pi)*b ?* ?e^{-1 / 2b^2 ? * (xn-a)^2}}
==>n*(0-1/2 * ln(Math.sqrt(2*pi) * b)^2) + -1/(2b^2) * (x-a)^2
==>n*(0-1/2*ln2pi -1/2lnb^2) - 1/(2b^2) * ∑(xi-a)^2
==>-n/2*ln2pi - n/2 * lnb^2?- 1/(2b^2) * ∑(xi-a)^2
求偏導
lnL(a,b^2) 對a求偏導==> ?- 1/(2b^2) * 和(xi - a) * 2 * (-1) = 0 ==>?∑(xi - a) ?= 0 ==> 和xi = na ==>a=∑xi/n ==> 即a 等于 x樣本的均值
lnL(a,b^2) 對b^2求偏導==> -n / (2b^2) - ?∑(xi-a)^2 * (-1) * 1/(2b^2)^2 = 0 ==> n*b^2 -?∑(xi-a)^2 =0 ==> b^2 = 1/n *?∑(xi-a)^2
三、邏輯回歸
邏輯函數：
g(z) = 1 / (1+e^(-z))
估計函數：
h(x) = g(theta^T * x) = 1 / [1 + e^(-theta^T * x)]
由于二值分類很像二項分布。
P(y=1|x;theta) = h(x)
P(y=0|x;theta) = 1 - h(x)
===> 由上式推導成一般表達式：
P(y|x;theta) = [h(x)]^y * [1- h(x)]^(1-y)
驗證 y = 0 => P(y=0|x;theta) = [h(x)]^0 *??[1- h(x)]^(1-0) = 1 * [1?- h(x)] = 1 - h(x)
驗證 y = 1 => P(y=1|x;theta) =?[h(x)]^1 *??[1- h(x)]^(1-1) = h(x) * 1 = h(x)
似然估計函數：
L(theta) = ∏?P(y|x;theta) ?=?∏??[h(x)]^y * [1- h(x)]^(1-y)
求對數
ln L(theta) = ∑{y*lnh(x) + (1-y)ln[1-h(x)]}
采用梯度上升法：
轉載于:https://my.oschina.net/u/204498/blog/644421
創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎總結
以上是生活随笔為你收集整理的【机器学习实战】极大似然法的全部內容，希望文章能夠幫你解決所遇到的問題。
