一、轉(zhuǎn)載博客

轉(zhuǎn)載在：https://www.douban.com/note/640290683/

注0：《deep learning》的chapter 5有一部分講maximum likelihood，那里講地更清楚，建議直接去參考那里的內(nèi)容。

注1：今天走在路上，突然想明白了似然度是怎么回事，它就是用來(lái)度量模型和數(shù)據(jù)之間的相似度，所以叫它似然度。

注2：原文鏈接：https://codesachin.wordpress.com/2016/07/24/the-basics-of-likelihood/

Defining the Likelihood Function

While assumes you know your model and tries to analyze data according to it, F2 keeps the data in perspective while figuring out how well different sets of parameters describe it.

概率，是你已經(jīng)知道模型，去分析數(shù)據(jù)。

• 概率對(duì)象：真實(shí)對(duì)模擬

似然度，是你只知道數(shù)據(jù)，去模擬一個(gè)模型，分析模擬模型和數(shù)據(jù)(真實(shí)模型)的相似度。簡(jiǎn)單來(lái)說，似然度就是相似度，兩個(gè)變量之間的相似度。

• 似然度：模擬對(duì)真實(shí)

There is a very, very important distinction between probability and likelihood functions – the value of the probability function sums (or integrates, for continuous data) to 1 over all possible values of the input data. However, the value of the likelihood function?does not integrate to 1 over all possible combinations of the parameters.

概率的和為1，但是不能說似然度的和為一

The only thing you can be sure of, is this: If F2(θ1)>F2(θ2) , then it is more likely that denote the parameters of the underlying model.

我門只能通過似然度數(shù)值來(lái)說明模型與數(shù)值的擬合程度，似然度高，就說明模型越接近于數(shù)據(jù)真實(shí)的模型；即便似然度值為0.99，這也不能說明該似然模型最好，其他模型的似然度可能為0.999

問題：不能確定最大似然度，即不能確定最好的似然模型

原因：最大似然度值不能確定

解決：maximum likelihood estimate。通過求導(dǎo)，可以獲得似然模型的極值，在求導(dǎo)過程中，用log來(lái)簡(jiǎn)化計(jì)算

?

擴(kuò)展----在語(yǔ)音識(shí)別中，p(o|w)觀察似然度，表示潛在句子與聲學(xué)序列的相似度

二、我在學(xué)習(xí)卷積函數(shù)時(shí)的一點(diǎn)想法，不知對(duì)錯(cuò)

1. 似然度，likelihood

　　我認(rèn)為似然度可以理解為可能性。

　　對(duì)于一些簡(jiǎn)單的事件，比如拋硬幣，我們很清楚拋硬幣的概率計(jì)算公式/模型。

　　但是現(xiàn)實(shí)生活中存在很多復(fù)雜的事件或數(shù)據(jù)，我們不能直接給出它們的概率計(jì)算公式/模型。

　　我們只知道這類復(fù)雜事件模型在輸入某一具體數(shù)值(input)時(shí)會(huì)產(chǎn)生唯一對(duì)應(yīng)的數(shù)據(jù)結(jié)果(output)，所以只能從這些數(shù)值變化規(guī)律中推測(cè)出一個(gè)盡可能符合這類事件變化規(guī)律的近似概率模型。

　　推測(cè)近似概率模型的過程類似于機(jī)器學(xué)習(xí)的訓(xùn)練過程。先以某些已知的標(biāo)簽數(shù)據(jù)去訓(xùn)練模型，然后用訓(xùn)練好的模型去推測(cè)這類事件未發(fā)生事件的發(fā)生概率。

　　這種人工訓(xùn)練模型(positive)去模擬真正的概率模型(true)的過程叫擬合。

　　這種近似概率模型與真正的概率模型的相似度叫似然度，likelihood。我們?yōu)榱耸雇茰y(cè)的近似概率模型性能達(dá)到最優(yōu)，使近似概率模型與真正模型之間的相似度達(dá)到最大，即為最大似然，maximum likelihood。

?

總結(jié)

以上是生活随笔為你收集整理的机器学习之数学基础(一)～maximum likelihood的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。