? ? 反向傳播算法是一個對于計算代價函數的梯度（即一階導數）計算有效的技術。代價函數由刻畫多層感知器的可調參數（突觸權值和偏置）的函數來表示。算法計算能力是由兩個明顯的性質而導出的：反向傳播算法是局部計算簡單的；當算法是在線（逐次）學習時它實現權值空間的隨機梯度下降。

? ? 反向傳播算法是依靠局部計算來發現神經網絡信息處理能力的一個連接論者范例的例子。計算限制的這種形式稱為局部約束，它是指單個神經元實現的計算僅受那些與它有物理接觸的神經元的影響。在（人工）神經網絡的設計中提倡利用局部計算通常有三個主要理由：1.實現局部計算的神經網絡常常被作為生物神經網絡的類比來推舉。2.由于使用局部計算允許由于硬件錯誤引起的平穩的性能下降，因此為容錯網絡設計提供基礎。3.局部計算支持作為神經網絡實現有效方法的并行體系結構。

? ? 通過反向傳播算法訓練的多層感知器的隱藏神經元作為特征檢測器扮演者重要的角色。利用多層感知器的這個重要的性質的一個新方法是使用它作為復制器或者恒等映射。??????????????????????????????????

具有一個隱藏層的作為編碼器的復制器網絡（恒等映射）

復制器網絡監督訓練的方框圖：

?

?

作為解碼器的復制器網絡部分：

?

輸入和輸出層神經元數目具有相同的大小m。

隱藏層的神經元個數M小于m。

網絡是完全連接的。

? ? 一個給定的模式x同時作為輸入層的刺激和輸出層的期望相應。輸出層的實際相應x^是大鎖作用x的“估計”。通過常用的方法使用反向傳播算法訓練網絡，估計誤差向量（x-x^）作為誤差信號處理。借助多層感知器的設計所建立的特殊結構這一優點，通過它的隱藏層約束網絡以實現恒等映射。事實上，完全訓練的多層感知器充當了“編碼器”的角色。為了重構初始時輸入模式x的估計x^（即實現解碼），我們將編碼信號應用于復制網絡隱藏層。事實上，后面的網絡扮演了“解碼器”的角色。如果我們似的隱藏層的大小M與輸入/輸出層大小m相比越小，那么該結構作為一個數據壓縮系統的作用就越大。

總結

以上是生活随笔為你收集整理的神经网络与机器学习 笔记—复制器（恒等）映射的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。