受限玻尔兹曼机准备知识——蒙特卡洛方法
先了解幾個基本概率知識,不急著看蒙特卡洛方法的定義,具體的MC方法參考網上各種資料。
兩個比較好的學習MC方法的文章:蒙特卡洛方法入門?(結合了實例)和?蒙特卡洛方法?(推薦,非常詳細)
更新日志:2016-11-19,補充三個網站
從隨機過程到馬爾科夫鏈蒙特卡洛方法:http://www.cnblogs.com/daniel-D/p/3388724.html
MCMC: The Metropolis Sampler譯文:http://www.cnblogs.com/yinxiangnan-charles/p/5018876.html
MCMC: The Metropolis Sampler原文:https://theclevermachine.wordpress.com/2012/11/19/a-gentle-introduction-to-markov-chain-monte-carlo-mcmc/
數學期望(期望,均值)的計算:
? ? ? ? ? ? ? ? ? ? ? ? ? ??
大數定律:
主要描述大數量隨機試驗平均結果的穩定性。解釋了隨機現象的一種統計規律。
具體定義參考書本。它主要是利用大量的隨機試驗,用觀察值的平均值去預測整個樣本的數學期望值。
當實驗可重復,且次數n充分大時,伯努利大數定律表明用頻率估計概率的誤差可任意小,可靠性可任意大。辛欽大數定律表明用樣本均值估計理論均值的誤差可任意小,可靠性可任意大。
中心極限定律:
主要研究大數量獨立隨機變量和分布函數的極限,揭示了大量獨立隨機因素綜合影響的一種統計規律。大量的相互獨立的隨機變量的線性組合在一定條件下近似服從正態分布的一系列定理稱為中心極限定理。
蒙特卡洛方法:
先看一個式子
然后對比上面介紹的連續性數據的數學期望計算方法,是不是感覺特別像。蒙特卡洛方法又稱為統計模擬法或者隨機抽樣技術,使用隨機數(偽隨機數)來解決很多計算問題的方法,將所求解的問題同一定的概率模型相聯系,用計算機實現統計模擬或抽樣,以獲得問題的近似解。
依據:
大數定律:均勻分布的算術平均收斂于真值。
中心極限定理:置信水平下的統計誤差。
基本原理:
某些事件的概率,可以用大量實驗中該事件發生的頻率估算,當樣本的容量足夠大時,可以認為該事件的發生頻率即為其概率。
就拿計算圓周率π來說:主要過程就是給定一個圓和它的外接正方形,通過數學方法可以計算得到圓和正方形的面積比為π/4。然后用概率的方法,在正方形內(包括圓內)撒很多點,比如有N個點,數出撒到圓內的點數S,然后便可得到π/4=S/N,這樣便可用概率的方法計算得到π的近似值,可以看出,這個近似值與N有關,N越大則越準確。回頭看那個積分的式子,f(x)就代表這個圓,積分就代表面積,g(x)就代表這些點,p(x)就代表點在圓內的點數,即點落在圓里面的概率密度。
總結
以上是生活随笔為你收集整理的受限玻尔兹曼机准备知识——蒙特卡洛方法的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 手把手带你使用 go-kit(基础篇)
- 下一篇: 受限玻尔兹曼机准备知识——MCMC方法和