方差学习总结
在分析之前，要嚴(yán)格區(qū)分一個概念是在概率學(xué)上的定義還是在統(tǒng)計學(xué)上的定義。概率學(xué)比統(tǒng)計學(xué)更加的抽象一點，概率學(xué)研究一個事件的理想的情況，但是在真實的世界，這種理想的情況是很難或者不可能達(dá)到的，所以利用統(tǒng)計學(xué)中的樣本來估計這個理想的結(jié)果。
方差的概念和定義
概率論中方差用來度量隨機變量和其數(shù)學(xué)期望（均值）之間的偏離程度。
統(tǒng)計學(xué)中的方差（樣本方差）是各個數(shù)據(jù)分別與其平均數(shù)之差的平方和的平均數(shù)。
設(shè)X是一個隨機變量，若$E\{ {[X - E(X)]^2}\} $存在，則稱$E\{ {[X - E(X)]^2}\} $為X的方差，記為D(X)或者Var(X)。
D(X)是刻畫X取值分散程度的一個量，它是衡量取值分散程度的一個尺度。
?方差的種類與計算
?離散型方差：
$D(x) = \sum\nolimits_{i = 1}^n {{p_i} \cdot {{({x_i} - u)}^2}} $。其中$u = E(x) = \sum\nolimits_{i = 1}^n {{p_i} \cdot {x_i}} $
注意：在統(tǒng)計學(xué)中，樣本的均值為$\widehat u = \frac{1}{n}\sum\nolimits_{i = 1}^n {{x_i}} $
將上面的D(x)展開后得到\[D(x) = Var(x) = \sum\nolimits_{i = 1}^n {({p_i} \cdot x_i^2) - {u^2}} \]
?連續(xù)型方差：
對于連續(xù)型隨機變量，$Var(x) = {\sigma ^2} = \int {{{(x - u)}^2}f(x)dx = } \int {{x^2}f(x)dx - {u^2}} $其中$u = \int {xf(x)dx} $并且此處的積分是以x的取值范圍（一般是負(fù)無窮~正無窮）為積分上下界的定積分。所以$\int_{ - \infty }^{ + \infty } {f(x)dx} ?= 1$。
根據(jù)方差的定義：$D(x) = E\{ {[X - E(X)]^2}\} $
所以：?
方差的特性
重點分布的方差
?統(tǒng)計學(xué)中的樣本方差
方差是各個數(shù)據(jù)與平均值之差的平方和的平均數(shù)，即：
\[{s^2} = \frac{1}{n}[{({x_1} - \overline x )^2} + {({x_2} - \overline x )^2} + ... + {({x_n} - \overline x )^2}]\]
其中$\overline x $是樣本的平均數(shù)。
注意這里的${s^2}$并不是隨機變量的方差，它是利用樣本數(shù)據(jù)對隨機變量方差的一個估計。
現(xiàn)在樣本只是總體的一部分，用樣本得到的樣本方差也不可能那么理想的正好等于總體方差。為了能準(zhǔn)確的估計總體方差，希望這個樣本方差能夠是總體方差的一個無偏估計。也就是說$E({s^2}) = {\sigma ^2}$。其中${s^2}$是樣本方差，${\sigma ^2}$是總體方差。
但是上面的${s^2}$不是${\sigma ^2}$的無偏估計：
從公式推導(dǎo)可以看到，這里的${s^2}$不是${\sigma ^2}$的無偏估計。
所以一般的樣本方差用一個修正值：
\[{s^2} = \frac{1}{{n - 1}}{\sum\nolimits_{i = 1}^n {({X_i} - \overline X )} ^2}\]
對上面的公式做一個解釋
樣本方差公式里分母為n-1的目的是為了讓方差的估計無偏，因為無偏的估計比有偏估計更好的符合直覺。盡管有的統(tǒng)計學(xué)家認(rèn)為讓mean square error即MSE最小才更具有意義。
在做出解釋前先給出結(jié)論：
\[E[\frac{1}{{n - 1}}\sum\limits_{i = 1}^n {{{({X_i} - \overline X )}^2}} ] = {\sigma ^2}\]
也就是說$\frac{1}{{n - 1}}\sum\limits_{i = 1}^n {{{({X_i} - \overline X )}^2}} $是總體樣本方差${\sigma ^2}$的無偏估計。
第一種情況：
假設(shè)隨機變量X的數(shù)學(xué)期望u是已知的，然而${\sigma ^2}$是未知的。在這種情況下，樣本方差可以直接用定義寫出來：各個數(shù)據(jù)分別與平均數(shù)（這里的平均數(shù)是均值u）之差的平方和的平均數(shù)。也就是：${s^2} = \frac{1}{n}{\sum\nolimits_{i = 1}^n {({X_i} - u)} ^2}$。
\[\begin{array}{l}E({s^2})\\ = E(\frac{1}{n}{\sum\nolimits_{i = 1}^n {({X_i} - u)} ^2})\\ = \frac{1}{n}E({\sum\nolimits_{i = 1}^n {({X_i} - u)} ^2})\\ = \frac{1}{n}{\sum\nolimits_{i = 1}^n {E[({X_i} - u)} ^2}]\\ = \frac{1}{n}\sum\nolimits_{i = 1}^n {E[{X_i}^2 - 2u} {X_i} + {u^2}]\\ = \frac{1}{n}\sum\nolimits_{i = 1}^n {[E{X_i}^2 - 2uE{X_i} + {u^2}]} \\ = \frac{1}{n}\sum\nolimits_{i = 1}^n {[{\sigma ^2} + {u^2} - 2{u^2} + {u^2}]} \\ = {\sigma ^2}\end{array}\]
所以$E(\frac{1}{n}{\sum\nolimits_{i = 1}^n {({X_i} - u)} ^2}) = {\sigma ^2}$
即在隨機變量X的數(shù)學(xué)期望u已知的條件下，$\frac{1}{n}{\sum\nolimits_{i = 1}^n {({X_i} - u)} ^2}$是總體方差的無偏估計。
第二種情況：
在隨機變量X的數(shù)學(xué)期望u未知的情況下，我們被迫使用樣本均值 ${\overline X }$代替上面的u，也就是使用$\frac{1}{n}{\sum\nolimits_{i = 1}^n {({X_i} - \overline X )} ^2}$作為總體方差${{\sigma ^2}}$的估計。
但是這種情況往往會低估總體方差。因為：
而$\frac{1}{n}{\sum\nolimits_{i = 1}^n {({X_i} - u)} ^2}$才是對總體方差的無偏估計。
綜合上面的兩種情況來說：
在不知道隨機變量真實數(shù)學(xué)期望的條件下，把分母n換成n-1，就是把原來偏小的估計放大了一點，這樣就能得到正確的估計了。
$E(\frac{1}{n}{\sum\nolimits_{i = 1}^n {({X_i} - u)} ^2}) = E[\frac{1}{{n - 1}}\sum\limits_{i = 1}^n {{{({X_i} - \overline X )}^2}} ] = {\sigma ^2}$至于為什么是n-1，而不是n-2或者什么別的數(shù)，上面的公式已經(jīng)推導(dǎo)過了。
?一般化
?
轉(zhuǎn)載于:https://www.cnblogs.com/stemon/p/5032909.html
總結(jié)
- 上一篇： nagios监控cfg模块
- 下一篇： 关于db link权限分配的苦旅(一)