UA MATH564 概率分布1 二项分布下
UA MATH564 概率分布1 二項(xiàng)分布下
- de Moivre-Laplace定理
- Poisson分布近似二項(xiàng)分布
這一篇考慮二項(xiàng)分布的一些近似計(jì)算問(wèn)題，考慮X～Binom(n,p)X \sim Binom(n,p)X～Binom(n,p)，
P(X=k)=Cnkpk(1?p)n?k,k=0,1,?,nP(X = k) = C_n^k p^k(1-p)^{n-k},k=0,1,\cdots,nP(X=k)=Cnk?pk(1?p)n?k,k=0,1,?,n
最主要的計(jì)算問(wèn)題是在計(jì)算組合數(shù)的時(shí)候
Cnk=n!(n?k)!k!C_n^k = \frac{n!}{(n-k)!k!}Cnk?=(n?k)!k!n!?
一般會(huì)根據(jù)這個(gè)公式按階乘來(lái)計(jì)算，但階乘的增長(zhǎng)是很快的，數(shù)字比較大的時(shí)候通過(guò)階乘計(jì)算組合數(shù)精度不理想。
de Moivre-Laplace定理
如果n,k,n?kn,k,n-kn,k,n?k都比較大，就可以用Stirling公式近似計(jì)算階乘：
n!≈2πnn+1/2e?nCnk≈2πnn+1/2e?n(2π(n?k)n?k+1/2e?n+k)(2πkk+1/2e?k)=12πn(nn?k)n?k+1/2(nk)k+1/2n! \approx \sqrt{2\pi}n^{n+1/2}e^{-n}\\ C_n^k\approx \frac{\sqrt{2\pi}n^{n+1/2}e^{-n}}{(\sqrt{2\pi}(n-k)^{n-k+1/2}e^{-n+k})(\sqrt{2\pi}k^{k+1/2}e^{-k})} \\= \frac{1}{\sqrt{2\pi n}} \left( \frac{n}{n-k} \right)^{n-k+1/2} \left( \frac{n}{k} \right)^{k+1/2}n!≈2π?nn+1/2e?nCnk?≈(2π?(n?k)n?k+1/2e?n+k)(2π?kk+1/2e?k)2π?nn+1/2e?n?=2πn?1?(n?kn?)n?k+1/2(kn?)k+1/2
將這個(gè)組合數(shù)的近似公式帶入二項(xiàng)分布的概率中
P(X=k)=12πnp(1?p)(n(1?p)n?k)n?k+1/2(npk)k+1/2P(X=k) = \frac{1}{\sqrt{2\pi np(1-p)}} \left( \frac{n(1-p)}{n-k} \right)^{n-k+1/2} \left( \frac{np}{k} \right)^{k+1/2}P(X=k)=2πnp(1?p)?1?(n?kn(1?p)?)n?k+1/2(knp?)k+1/2
這個(gè)形式的好處是避開(kāi)了大整數(shù)的階乘運(yùn)算。接下來(lái)我們進(jìn)一步做點(diǎn)推導(dǎo)，看看有沒(méi)有更簡(jiǎn)單的形式。考慮
ln?(npk)k+1/2=?(k+1/2)ln?knp\ln \left( \frac{np}{k}\right)^{k+1/2} = -(k+1/2)\ln \frac{k}{np}ln(knp?)k+1/2=?(k+1/2)lnnpk?
記xk=k?npnp(1?p),k=np+xknp(1?p)ln?(npk)k+1/2=?(np+xknp(1?p)+1/2)ln?(1+xk(1?p)np(1?p))x_k = \frac{k-np}{\sqrt{np(1-p)}},\ k=np + x_k\sqrt{np(1-p)} \\ \ln \left( \frac{np}{k}\right)^{k+1/2}=-(np + x_k\sqrt{np(1-p)}+1/2)\ln \left( 1+\frac{x_k(1-p)}{\sqrt{np(1-p)}}\right)xk?=np(1?p)?k?np?,?k=np+xk?np(1?p)?ln(knp?)k+1/2=?(np+xk?np(1?p)?+1/2)ln(1+np(1?p)?xk?(1?p)?)
取Taylor展開(kāi)的前兩項(xiàng)做近似
ln?(1+xk(1?p)np(1?p))≈xk(1?p)np(1?p)?(xk(1?p)np(1?p))2\ln \left( 1+\frac{x_k(1-p)}{\sqrt{np(1-p)}}\right) \approx \frac{x_k(1-p)}{\sqrt{np(1-p)}}-\left( \frac{x_k(1-p)}{\sqrt{np(1-p)}}\right)^2ln(1+np(1?p)?xk?(1?p)?)≈np(1?p)?xk?(1?p)??(np(1?p)?xk?(1?p)?)2
回帶化簡(jiǎn)得
ln?(npk)k+1/2≈?xknp(1?p)?12(1?p)xk2(npk)k+1/2=exp?(?xknp(1?p)?1?p2xk2)\ln \left( \frac{np}{k}\right)^{k+1/2} \approx -x_k\sqrt{np(1-p)}-\frac{1}{2}(1-p)x_k^2 \\ \left( \frac{np}{k}\right)^{k+1/2} = \exp \left( -x_k\sqrt{np(1-p)} -\frac{1-p}{2}x_k^2\right)ln(knp?)k+1/2≈?xk?np(1?p)??21?(1?p)xk2?(knp?)k+1/2=exp(?xk?np(1?p)??21?p?xk2?)
類似地
(n(1?p)n?k)n?k+1/2=exp?(xknp(1?p)?p2xk2)\left( \frac{n(1-p)}{n-k}\right)^{n-k+1/2} = \exp \left( x_k\sqrt{np(1-p)} -\frac{p}{2}x_k^2\right)(n?kn(1?p)?)n?k+1/2=exp(xk?np(1?p)??2p?xk2?)
因此
P(X=k)=12πnp(1?p)exp?(?xk22)=?(xk)np(1?p)P(X=k) = \frac{1}{\sqrt{2\pi np(1-p)}} \exp\left( -\frac{x_k^2}{2}\right)=\frac{\phi(x_k)}{\sqrt{np(1-p)}}P(X=k)=2πnp(1?p)?1?exp(?2xk2??)=np(1?p)??(xk?)?
其中?(x)\phi(x)?(x)是標(biāo)準(zhǔn)正態(tài)分布的密度函數(shù)，這個(gè)結(jié)論也叫做de Moivre-Laplace定理，它給出了用正態(tài)分布近似二項(xiàng)分布的計(jì)算方法，同時(shí)指出二項(xiàng)分布的極限分布是正態(tài)分布。進(jìn)一步實(shí)際上de Moivre-Laplace定理是中心極限定理的特例，觀察xkx_kxk?的構(gòu)造
xk=k?npnp(1?p)x_k = \frac{k-np}{\sqrt{np(1-p)}}xk?=np(1?p)?k?np?
也就是
P(X=k)=12πnp(1?p)exp?(?(k?np)22np(1?p))P(X=k)=\frac{1}{\sqrt{2\pi np(1-p)}} \exp\left( -\frac{(k-np)^2}{2np(1-p)}\right)P(X=k)=2πnp(1?p)?1?exp(?2np(1?p)(k?np)2?)
這正是N(np,np(1?p))N(np,np(1-p))N(np,np(1?p))的密度函數(shù)。
Poisson分布近似二項(xiàng)分布
在de Moivre-Laplace定理的推導(dǎo)中，取Taylor展開(kāi)前兩項(xiàng)做近似要求xk(1?p)np(1?p)\frac{x_k(1-p)}{\sqrt{np(1-p)}}np(1?p)?xk?(1?p)?是一個(gè)比較小的數(shù)，這就需要ppp不能很小，當(dāng)ppp是一個(gè)比較小的值時(shí)，基于de Moivre-Laplace定理的近似計(jì)算誤差就會(huì)比較大。當(dāng)ppp比較小時(shí)，定義λ=np\lambda = npλ=np，則
P(X=k)=Cnkpk(1?p)n?k=n(n?1)?(n?k+1)k!(λn)k(1?λn)n?k=λkk!(1?λn)n?kn(n?1)?(n?k+1)nk→λkk!e?λP(X = k) = C_n^k p^k(1-p)^{n-k} = \frac{n(n-1)\cdots(n-k+1)}{k!} \left(\frac{\lambda}{n}\right)^k \left( 1-\frac{\lambda}{n} \right)^{n-k} \\ = \frac{\lambda^k}{k!} \left( 1-\frac{\lambda}{n} \right)^{n-k}\frac{n(n-1)\cdots(n-k+1)}{n^k} \to \frac{\lambda^k}{k!}e^{-\lambda}P(X=k)=Cnk?pk(1?p)n?k=k!n(n?1)?(n?k+1)?(nλ?)k(1?nλ?)n?k=k!λk?(1?nλ?)n?knkn(n?1)?(n?k+1)?→k!λk?e?λ
當(dāng)ppp足夠小，nnn足夠大時(shí)成立，此時(shí)二項(xiàng)分布被近似為Poisson分布。
因此二項(xiàng)分布有兩種可能的極限分布，當(dāng)n,k,n?kn,k,n-kn,k,n?k都比較大，并且ppp不小的時(shí)候，可以用de Moivre-Laplace定理將二項(xiàng)分布近似為正態(tài)分布；當(dāng)nnn比較大，ppp比較小時(shí)，可以將二項(xiàng)分布近似為Poisson分布。
總結(jié)
以上是生活随笔為你收集整理的UA MATH564 概率分布1 二项分布下的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： UA MATH566 统计理论2 C-R
- 下一篇： 矩阵分析与多元统计 线性空间与线性变换2