微調多層自編碼算法

Contents ?[hide] 1?介紹 2?一般策略 3?使用反向傳播法進行微調 4?中英文對照 5?中文譯者

介紹

微調是深度學習中的常用策略，可以大幅提升一個棧式自編碼神經網絡的性能表現。從更高的視角來講，微調將棧式自編碼神經網絡的所有層視為一個模型，這樣在每次迭代中，網絡中所有的權重值都可以被優化。

一般策略

幸運的是，實施微調棧式自編碼神經網絡所需的工具都已齊備！為了在每次迭代中計算所有層的梯度，我們需要使用稀疏自動編碼一節中討論的反向傳播算法。因為反向傳播算法可以延伸應用到任意多層，所以事實上，該算法對任意多層的棧式自編碼神經網絡都適用。

使用反向傳播法進行微調

為方便讀者，以下我們簡要描述如何實施反向傳播算法：

1. 進行一次前饋傳遞，對??層、?層直到輸出層?，使用前向傳播步驟中定義的公式計算各層上的激活值（激勵響應）。

2. 對輸出層（?層），令

（當使用softmax分類器時，softmax層滿足：，其中??為輸入數據對應的類別標簽，?為條件概率向量。）

3. 對?

令

4. 計算所需的偏導數：

注：我們可以認為輸出層softmax分類器是附加上的一層，但是其求導過程需要單獨處理。具體地說，網絡“最后一層”的特征會進入softmax分類器。所以，第二步中的導數由??計算，其中?。

中英文對照

棧式自編碼神經網絡（可以考慮翻譯為“多層自動編碼機”或“多層自動編碼神經網絡”） Stacked autoencoder

微調 Fine tuning

反向傳播算法 Backpropagation Algorithm

前饋傳遞 feedforward pass

激活值 （可以考慮翻譯為“激勵響應”或“響應”） activation

總結

以上是生活随笔為你收集整理的微调多层自编码算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。