1.均勻分布

均勻分布是關于定義在區(qū)間[a,b](a<b)上連續(xù)變量的簡單概率分布，其概率密度函數(shù)如下圖所示。

均勻分布的概率密度函數(shù)

若變量x服從均勻分布U(x | 0,1)且a<b,則a+(b-a)x服從均勻分布U(x | a,b).

概率密度函數(shù)、期望、方差

2.伯努利分布

伯努利分布是關于布爾變量x ∈ {0,1}的概率分布，其連續(xù)參數(shù) μ ∈ [0,1]表示x=1的概率。

伯努利分布概率密度函數(shù)

伯努利分布期望、方差

3.二項分布

二項分布用以描述N次獨立的伯努利實驗中有m次成功（即x=1）的概率，其中每次伯努利實驗成功的概率為μ ∈ [0,1]。當N=1時，二項分布退化為伯努利分布。

二項分布的概率密度函數(shù)、期望、方差

4.多項分布

將伯努利分布由單變量擴展為d維向量x，其中

且 ,并假設 取1的概率為 ， ，則將得到離散概率分布，

在此基礎上擴展二項分布則得到多項分布，它描述了在N次獨立實驗中有

次 的概率。

多項分布的概率密度函數(shù)、期望、方差、協(xié)方差

5.貝塔分布

貝塔分布是關于連續(xù)變量

的概率分布，它由兩個參數(shù)a>0和b>0確定，其概率密度函數(shù)如下圖所示。

貝塔分布的概率密度函數(shù)

其中

為Gamma函數(shù) ，B(a,b)為Beta函數(shù) ,當a=b=1時，貝塔分布退化為均勻分布.

6.狄利克雷分布

狄利克雷分布是關于一組d個連續(xù)變量

的概率分布， .令 ,參數(shù) , , 。當d=2時，狄利克雷分布退化為貝塔分布。

狄利克雷分布概率、期望、方差、協(xié)方差

7.高斯分布

高斯分布亦稱正太分布，是應用最為廣泛的連續(xù)概率分布。對于單變量

,高斯分布的參數(shù)為均值 和方差 . 下圖給出了在幾組不同參數(shù)下高斯分布的概率密度函數(shù)。

高斯分布的概率密度函數(shù)

對于d維向量x,多元高斯分布的參數(shù)為d維均值向量

和 d d的對稱正定協(xié)方差矩陣 。

8.共軛分布

假設變量x服從分布

，其中 為參數(shù)， 為變量x的觀測樣本，假設參數(shù) 服從先驗分布 和抽樣分布 決定的后驗分布 與 是同種類型的分布，則稱先驗分布 為分布 或 的共軛分布。

例如，假設

, 為觀測樣本， 為觀測樣本的均值， ，其中a,b為已知參數(shù)，則 的后驗分布亦為貝塔分布，其中 ,

，這意味著貝塔分布與伯努利分布共軛。類似可知，多項式分布的共軛分布是狄利克雷分布，而高斯分布的共軛分布仍然是高斯分布。

9.KL散度

KL散度，亦稱相對熵或者信息散度，可用于度量兩個概率分布之間的差異。給定兩個概率分布P和Q，兩者之間的KL散度定義為

，其中p(x)和q(x)分別為P和Q的概率密度函數(shù)。 創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結

以上是生活随笔為你收集整理的c# 标准正太分布函数_机器学习中常见的几种概率分布的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。