文章目錄

• • 1. Mini-batch 梯度下降
  • 2. 理解 mini-batch 梯度下降
  • 3. 指數(shù)加權(quán)平均數(shù)
  • 4. 理解指數(shù)加權(quán)平均數(shù)
  • 5. 指數(shù)加權(quán)平均的偏差修正
  • 6. 動(dòng)量Momentum梯度下降法
  • 7. RMSprop
  • 8. Adam 優(yōu)化算法
  • 9. 學(xué)習(xí)率衰減
  • 10. 局部最優(yōu)的問題
  • 作業(yè)

參考：
吳恩達(dá)視頻課
深度學(xué)習(xí)筆記

1. Mini-batch 梯度下降

在巨大的數(shù)據(jù)集上進(jìn)行訓(xùn)練，速度非常慢，如何提高效率？

前面我們學(xué)過向量化可以較快的處理整個(gè)訓(xùn)練集的數(shù)據(jù)，如果樣本非常的大，在進(jìn)行下一次梯度下降之前，你必須完成前一次的梯度下降。如果我們能先處理一部分?jǐn)?shù)據(jù)，算法速度會更快。

• 把訓(xùn)練集分割為小一點(diǎn)的子集（稱之 mini-batch）訓(xùn)練

batch 梯度下降法：指的就是前面講的梯度下降法，可以同時(shí)處理整個(gè) 訓(xùn)練集
mini-batch：每次處理的是單個(gè)的 mini-batch 訓(xùn)練子集

2. 理解 mini-batch 梯度下降

mini-batch 梯度下降，每次迭代后 cost 不一定是下降的，因?yàn)槊看蔚荚谟?xùn)練不同的樣本子集，但總體趨勢應(yīng)該是下降的

mini-batch 的 size 大小：

• 大小 = m，就是batch梯度下降法
• 大小 = 1，就是隨機(jī)梯度下降

3. 指數(shù)加權(quán)平均數(shù)

假設(shè)，$v_0=0,v_t=\beta ?v_{t?1}+(1?\beta )?{\theta }_t$
選取不同的 $\beta$ 值，得到相應(yīng)的氣溫曲線

4. 理解指數(shù)加權(quán)平均數(shù)

假如 $\beta =0.9，t=100$，將上面的帶進(jìn)去求 $v_{100}$

$$\begin{array}{l}{v}_{100}=0.1{\theta }_{100}+0.9{\left(0.1{\theta }_{99}+0.9\left(0.1{\theta }_{98}+0.9v_{97}\right)\right)}_0\\ \\ v_{100}=0.1{\theta }_{100}+0.1\times 0.9{\theta }_{99}+0.1\times (0.9{)}^2{\theta }_{98}+0.1\times (0.9{)}^3{\theta }_{97}+0.1\times (0.9{)}^4{\theta }_{96}+\dots \end{array}$$

好處：代碼簡單，占用內(nèi)存極少

$v_{\theta }=0,v_t:=\beta ?v_{\theta }+(1?\beta )?{\theta }_t$
當(dāng)然，它并不是最好、最精準(zhǔn)的計(jì)算平均數(shù)的方法

5. 指數(shù)加權(quán)平均的偏差修正

6. 動(dòng)量Momentum梯度下降法

思想：計(jì)算梯度的指數(shù)加權(quán)平均數(shù)，利用該梯度更新權(quán)重

上圖情況下，標(biāo)準(zhǔn)的梯度下降會上下波動(dòng)，且要使用較小的學(xué)習(xí)率，否則會偏離更遠(yuǎn)。

如果我們使用過去梯度的加權(quán)平均，縱向的就抵消了一些，橫向的疊加了一些，可以更平滑的快速找向最優(yōu)點(diǎn)

$$\begin{gathered} v_{dW}=\beta v_{dW}+(1?\beta )dW \\ {v}_{db}=\beta v_{db}+(1?\beta )db \end{gathered}$$
$$\begin{gathered} W:=W?\alpha ?v_{dW} \\ b:=b?\alpha ?v_{db} \end{gathered}$$

• 超參數(shù)有 $\alpha$， $\beta =0.9$（ $\beta$ 經(jīng)常取 0.9）
• 如果想偏差修正，$v_{dW},v_{db}$ 還要除以 $1?{\beta }^t$，實(shí)際上人們不這么做，10次迭代之后，偏差就基本很小了

動(dòng)量梯度下降法，并不是對所有情況都有效，它對碗狀的優(yōu)化效果較好

7. RMSprop

全稱是 root mean square prop 算法，它也可以加速梯度下降

微分平方的加權(quán)平均數(shù)：
$$\begin{gathered} S_{dW}=\beta S_{dW}+(1?\beta )(dW{)}^2 \\ {S}_{db}=\beta S_{db}+(1?\beta )(db{)}^2 \end{gathered}$$

$$\begin{gathered} W:=W?\alpha ?\frac{dW}{\sqrt{S_{dW}}+\mathcal{E}} \\ \text{?} \\ b:=b?\alpha ?\frac{db}{\sqrt{S_{db}}+\mathcal{E}} \end{gathered}$$
$\mathcal{E}=1e^{?8}$ 保證分母不為 0

RMSprop 跟 Momentum 有很相似的一點(diǎn)，可以消除梯度下降和mini-batch梯度下降中的擺動(dòng)，并允許你使用一個(gè)更大的學(xué)習(xí)率，從而加快你的算法學(xué)習(xí)速度。

8. Adam 優(yōu)化算法

Adam (Adaptive Moment Estimation) 優(yōu)化算法基本上就是將 Momentum 和 RMSprop 結(jié)合在一起

• 初始化：$v_{dW}=0,S_{dW}=0,v_{db}=0,S_{db}=0$
• t 次迭代
  Momentum：
  $v_{dW}={\beta }_1{v}_{dW}+\left(1?{\beta }_1\right)dW$
  $v_{db}={\beta }_1{v}_{db}+\left(1?{\beta }_1\right)db$
  RMSprop：
  $S_{dW}={\beta }_2{S}_{dW}+\left(1?{\beta }_2\right)(dW{)}^2$
  $S_{db}={\beta }_2{S}_{db}+\left(1?{\beta }_2\right)(db{)}^2$
  偏差修正：
  $v_{dW}^{\text{corrected?}}=\frac{v_{dW}}{1?{\beta }_1^t}$
  $v_{db}^{\text{corrected?}}=\frac{v_{db}}{1?{\beta }_1^t}$
  $S_{dW}^{\text{corrected?}}=\frac{S_{dW}}{1?{\beta }_2^t}$
  $S_{db}^{\text{corrected?}}=\frac{S_{db}}{1?{\beta }_2^t}$
  更新權(quán)重：
  $W:=W?\alpha ?\frac{v_{dW}^{\text{corrected?}}}{\sqrt{S_{dW}^{\text{corrected?}}}+\epsilon }$
  \quad
  $b:=b?\alpha ?\frac{v_{\mathrm{d}\mathrm{b}}^{\text{correted?}}}{\sqrt{S_{\mathrm{d}\mathrm{b}}^{\text{corrected?}}}+\epsilon }$

Adam算法結(jié)合了 Momentum 和 RMSprop 梯度下降法，并且是一種極其常用的學(xué)習(xí)算法
其被證明能有效適用于不同神經(jīng)網(wǎng)絡(luò)，適用于廣泛的結(jié)構(gòu)

超參數(shù)：

• 學(xué)習(xí)率 $\alpha$
• ${\beta }_1=0.9$，常用
• ${\beta }_2=0.999$，作者推薦
• $\epsilon =1e^{?8}$

9. 學(xué)習(xí)率衰減

慢慢減少 學(xué)習(xí)率 的本質(zhì)在于，在學(xué)習(xí)初期，使用較大的步伐，開始收斂的時(shí)候，用小一些的學(xué)習(xí)率能讓步伐小一些

• 對不同的 mini-batch 進(jìn)行訓(xùn)練，一次稱之為 epoch
  $$\alpha =\frac{1}{1+decayRate?epochNum}?{\alpha }_0$$

還有些其他的方法：
$$\begin{gathered} \alpha =0.95^{epochNum}{\alpha }_0 \\ \alpha =\frac{k}{\sqrt{epochNum}}{\alpha }_0 \\ \alpha =\frac{k}{\sqrt{t}}{\alpha }_0，t為\text{mini-batch}的數(shù)字 \end{gathered}$$
還有離散下降學(xué)習(xí)率，即 不是每步都下調(diào)學(xué)習(xí)率

10. 局部最優(yōu)的問題

高維度空間中，我們不太可能遇見（概率很低）如上圖所示的局部最優(yōu)點(diǎn)，因?yàn)樾枰@么多的維度方向上都梯度為 0（概率很低）

所以更有可能遇到的是鞍點(diǎn)

基本不會遇見局部最優(yōu)問題，可能遇見的是平穩(wěn)段減緩了學(xué)習(xí)速度，該區(qū)域梯度接近于 0 ，要很長時(shí)間才能走出去。Momentum 或 RMSprop，Adam 能夠加快速度，讓你盡早 走出平穩(wěn)段。

作業(yè)

02.改善深層神經(jīng)網(wǎng)絡(luò)：超參數(shù)調(diào)試、正則化以及優(yōu)化 W2.優(yōu)化算法（作業(yè)：優(yōu)化方法）

---

我的CSDN博客地址 https://michael.blog.csdn.net/

長按或掃碼關(guān)注我的公眾號（Michael阿明），一起加油、一起學(xué)習(xí)進(jìn)步！

總結(jié)

以上是生活随笔為你收集整理的02.改善深层神经网络：超参数调试、正则化以及优化 W2.优化算法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。