使用場景

語言模型平滑化等

公式

沒有出現(xiàn)過的單詞出現(xiàn)的概率

$P_{mle}=0$ （mle的方式）

$P_{gt}=\frac{N_1}{N}$ （good-turning的方式）

出現(xiàn)過的單詞出現(xiàn)的概率

$P_{mle}=\frac{c}{N}$（mle的方式）

$P_{gt}=\frac{(c+1)N_{c+1}}{N_c\times N}$（good-turning的方式：網(wǎng)絡上的公式分母沒有乘以N,這里的解釋是：分母不乘以N計算的是預計出現(xiàn)的次數(shù)，分母乘以N后就是在全部次數(shù)N中出現(xiàn)的概率）

舉例說明

例：假設在摸球，已經(jīng)摸了22個球了。其中10個球是白色，5個是黑色，3個球是灰色，2個球是褐色，1個是紅色，1個是綠色，1個是黃色。

需要先計算出出現(xiàn)的次數(shù)：

$N=22$ (一共摸了22次)
$N_{10}=1$ (有一個顏色的球出現(xiàn)了10次)
$N_5=1$ (有一個顏色的球出現(xiàn)了5次)
$N_3=1$ (有一個顏色的球出現(xiàn)了3次)
$N_2=1$ (有一個顏色的球出現(xiàn)了2次)
$N_1=3$ (有三個顏色的球出現(xiàn)了1次)

問題1.求摸到紫色球的概率：

mle的方式只考慮過去，沒有出現(xiàn)的顏色概率是0

$P_{mle}(紫色)=0$

摸第20個球的時候出現(xiàn)了紅色，這時的紅色相當于新的顏色 類比可以把出現(xiàn)一次的紅色、綠色、黃色看做新的顏色

$P_{gt}(新的顏色)=P_{gt}(紫色)=\frac{N_1}{N}=\frac{3}{22}$


問題2. 摸到紅球的概率:

$P_{mle}(紅色)=\frac{1}{22}$

$P_{gt}(紅色)=\frac{(c+1)N_{c+1}}{N_c\times N}=\frac{(1+1)N_{1+1}}{N_1\times N}=\frac{2N_2}{N_1\times N}=\frac{2\times 1}{3\times 22}=\frac{1}{33}$

可能遇到的問題

舉個例子，在日常使用中，如預計文章中單詞出現(xiàn)的頻率時。
比如有2個單詞在文章中出現(xiàn)了115次，但是不一定有單詞恰好出現(xiàn)了116次。而通過gt的方式預計115次單詞出現(xiàn)個數(shù)時候是需要116次單詞的數(shù)據(jù)的。這時就沒有辦法計算了。

計算已經(jīng)出現(xiàn)115次的某個單詞出現(xiàn)個數(shù)應使用公式：

$P_{gt}=\frac{(c+1)N_{c+1}}{N_c}=\frac{(115+1)N_{116}}{N_{115}}$

可以通過一些其他方式補上缺失的數(shù)據(jù)，比如機器學習算法。

ps

內(nèi)容來自日常學習中的一些教程，網(wǎng)上的資料等。個人也還是初學者，如有問題期望指正！

總結

以上是生活随笔為你收集整理的Good-Turning Smothing 学习的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。