---

←上一篇↓↑下一篇→

2.4 理解指數加權平均	回到目錄	2.6 動量梯度下降法

---

指數加權平均的偏差修正 (Bias Correction in Exponentially Weighted Average)

你學過了如何計算指數加權平均數，有一個技術名詞叫做偏差修正，可以讓平均數運算更加準確，來看看它是怎么運行的。

$$v_t=\beta v_{t?1}+(1?\beta ){\theta }_t$$

在上一個視頻中，這個（紅色）曲線對應 $\beta$ 的值為0.9，這個（綠色）曲線對應的 $\beta =0.98$ ，如果你執行寫在這里的公式，在 $\beta$ 等于0.98的時候，得到的并不是綠色曲線，而是紫色曲線，你可以注意到紫色曲線的起點較低，我們來看看怎么處理。

計算移動平均數的時候，初始化 $v_0=0$， $v_1=0.98v_0+0.02{\theta }_1$ ，但是 $v_0=0$ ，所以這部分沒有了（ $0.98v_0$ ），所以 $v_1=0.02{\theta }_1$ ，所以如果一天溫度是40華氏度，那么 $v_1=0.02{\theta }_1=0.02?40=8$ ，因此得到的值會小很多，所以第一天溫度的估測不準。

$v_2=0.98v_1+0.02{\theta }_2$ ，如果代入 $v_1$ ，然后相乘，所以 $v_2=0.98?0.02{\theta }_1+0.02{\theta }_2=0.0196{\theta }_1+0.02{\theta }_2$ ，假設 ${\theta }_1$ 和 ${\theta }_2$ 都是正數，計算后 $v_2$ 要遠小于 ${\theta }_1$ 和 ${\theta }_2$ ，所以 $v_2$ 不能很好估測出這一年前兩天的溫度。

有個辦法可以修改這一估測，讓估測變得更好，更準確，特別是在估測初期，也就是不用 $v_t$ ，而是用 $\frac{v_t}{1?{\beta }^t}$ ， $t$ 就是現在的天數。舉個具體例子，當 $t=2$ 時， $1?{\beta }^t=1?0.98^2=0.0396$ ，因此對第二天溫度的估測變成了 $\frac{v_2}{0.0396}=\frac{0.0196{\theta }_1+0.02{\theta }_2}{0.0396}$ ，也就是 ${\theta }_1$ 和 ${\theta }_2$ 的加權平均數，并去除了偏差。你會發現隨著 $t$ 增加， ${\beta }^t$ 接近于0，所以當 $t$ 很大的時候，偏差修正幾乎沒有作用，因此當 $t$ 較大的時候，紫線基本和綠線重合了。不過在開始學習階段，你才開始預測熱身練習，偏差修正可以幫助你更好預測溫度，偏差修正可以幫助你使結果從紫線變成綠線。

在機器學習中，在計算指數加權平均數的大部分時候，大家不在乎執行偏差修正，因為大部分人寧愿熬過初始時期，拿到具有偏差的估測，然后繼續計算下去。如果你關心初始時期的偏差，在剛開始計算指數加權移動平均數的時候，偏差修正能幫助你在早期獲取更好的估測。

所以你學會了計算指數加權移動平均數，我們接著用它來構建更好的優化算法吧！

課程PPT

---

←上一篇↓↑下一篇→

2.4 理解指數加權平均	回到目錄	2.6 動量梯度下降法

---

總結

以上是生活随笔為你收集整理的2.5 指数加权平均的偏差修正-深度学习第二课《改善深层神经网络》-Stanford吴恩达教授的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。