深度學習中的核心知識

前向運算

計算輸出值的過程稱為前向傳播


前提：網絡結構已知（兩個方面：1. 每個層的構造 卷積/池化 2. 每個層的參數）
難點：1.f函數如何定義 2.每層的參數 （通過反向傳播來計算）

反向傳播（BP算法）

神經網絡（參數模型）訓練方法

• 解決神經網絡優化問題
• 計算輸出層結果與真實值之間的偏差來進行逐層調節參數（梯度下降）

神經網絡參數訓練是一個不斷迭代的過程

參數更新多少？

• 參數優化問題（迭代）
  利用有標簽的樣本x和y
  求解 loss=（估計值 - 真實值）${}^2$ 的最小值
  對w求導
• 導數和學習率（梯度下降算法）

什么是梯度

• 函數在A點無數個變化方向中變化最快的那個方向
  

梯度下降算法

• 沿著導數下降的方法，進行參數更新
  
• 選擇合適的步長、學習率
  
• 局部最優解
  

常見的深度學習模型

• 卷積神經網（CNN）
• 循環神經網（RNN）
• 自動編碼機（Autoencoder）
• Restricted Boltzmann Machines(RBM, 受限玻爾茲曼機)
• 深度信念網絡（DBN，Deep Belid Network）

總結

以上是生活随笔為你收集整理的深度学习中的核心知识的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。