机器学习：Multinoulli分布与多项式分布
學習深度學習時遇見multinoulli分布，在此總結一下機器學習中常用的multinoulli分布與多項式分布之間的區別于關系，以便更好的理解其在機器學習和深度學習中的使用。
首先介紹一下其他相關知識。
Bernoulli分布 （兩點分布）
Bernoulli分布是單個二值隨機變量的分布。它由單個參數控制，給出了隨機變量等于1的概率。
? ? ? ? ? ? ? ? ? ?
? ? ? ? ? ? ? ? ? ?
? ? ? ? ? ? ? ? ? ?
? ? ? ? ? ? ? ? ? ?
? ? ? ? ? ? ? ? ? ?
二項分布（n重Bernoulli分布）
二項分布（binomial distribution）用以描述N次獨立的伯努利實驗中有m次成功（即x=1）的概率，其中每次伯努利實驗成功的概率為。
? ? ? ? ? ? ? ? ??
? ? ? ? ? ? ? ? ??
? ? ? ? ? ? ? ? ? ?
多項分布
若將伯努利分布由單變量擴展為d維向量，其中且,并假設取1的概率為,，則將得到離散概率分布
? ? ? ? ? ? ? ??
? ? ? ? ? ? ? ?
? ? ? ? ? ? ? ??
在此基礎上擴展二項分布則得到多項分布（nultinomial distribution），它描述了在N次獨立實驗中有次的概率。?
? ? ? ? ? ? ? ??
multinoulli分布（范疇分布、分類分布(categotical distribution)）
mutinoulli分布是指在具有k個不同狀態的單個離散型隨機變量上的分布，其中k是一個有限值。?mutinoulli分布由分布向量參數化，其中每一個分量表示第i個狀態的概率。最后的第k個狀態的概率可以通過給出。注意我們必須限制。mutinoulli分布經常用來表示對象分類的分布，所以我們很少假設狀態1具有數值1之類的。因此我們通常不需要去計算mutinoulli分布的隨機變量的期望和方差。
mutinoulli分布是多項式分布的一個特例。多項式分布是中的向量的分布，用于表示當對mutinoulli分布采樣n次時k個類中的每一個被訪問的次數。很多文章使用“多項式分布”而實際上說的是mutinoulli分布，但是他們并沒有說是對（一次實驗）的情況，這點需要注意。大概意思就是說multinouli分布進行一次實驗，得到了各個狀態k的概率分布p，多項分布是重復對multinoulli分布進行n次采樣實驗，看k個類中每一個被采樣到的次數。我覺得很像bernoulli分布與二項分布的關系。（大家有不同想法的可以留言討論！）
參考文獻：
《概率論與數理統計》韓旭里，謝永欽
《機器學習》周志華
《深度學習》Ian GoodFellow
總結
以上是生活随笔為你收集整理的机器学习：Multinoulli分布与多项式分布的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 神经网络优化：指数衰减计算平均值(滑动平
- 下一篇： keras:Sequential API