當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

神经网络：全连接神经网络

發布時間：2023/12/20 编程问答 24 豆豆

生活随笔收集整理的這篇文章主要介紹了神经网络：全连接神经网络小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

1 簡介

全連接神經網絡也稱作多層感知機（MLP）

1.1 神經元

神經元接收輸入向量 $x$
神經元節點有權重向量w和偏置項b 輸出值為 $f(w^Tx+b)$
在經過類似線性回歸之后使用激活函數對得到值進行操作

1.2 網絡結構

輸入層：[特征維度，n]
隱含層：權重矩陣 [輸出維度，輸入維度] 或者說[這層維度，上層維度]
輸出層：[類別數，n]

個人對于每一層的理解就是使用[這層維度，上層維度]的權重矩陣
將輸入轉化為其他維度并且使用非線性的激活函數得到輸出

1.3 正向傳播

確定網絡結構之后
假設有m層網絡第 $l$ 層的權重矩陣 $W^l$ 偏置為 $b^l$
整個網絡從輸入到輸出的流程為

$x^1=x$
對于 $l = 2, 3, . . . m$ 每一層
$u^l=W^lx^{l-1}+b^l$ （線性回歸）
$x^l=f(u^l)$ （非線性激活函數）
得到 $x^m$ 即為輸出可能是每個類別的概率組成的向量也可能是回歸值

1.4 反向傳播

如何訓練每一層的W和b 就需要反向傳播算法
假設單個樣本的損失函數是：
$L=12(h(x)?y)2L=\cfrac12(h(x)-y)^2$
目標優化函數：
$L=12m∑i=1m(h(xi)?yi)2L=\cfrac1{2m}\sum_{i=1}^m(h(x_i)-y_i)^2$
反向傳播算法的流程是:

①正向傳播計算每一層的輸出值
②反向傳播：對輸出層計算損失函數對 $u$ 的梯度 $▽ulL=(xl?y)?f′(ul)\bigtriangledown _{u^l}L=(x^l-y) \bigodot f^{\prime}(u^l)$ (因為損失函數用的歐式距離所以是 $x^l-y$ )
③對于 $l=n_l-1,n_l-2....2$ 的各層計算每層損失函數對 $u$ 的梯度
$▽ulL=(Wl+1)T[▽ul+1L]?f′(ul)\bigtriangledown _{u^l}L=(W^{l+1})^T[\bigtriangledown _{u^{l+1}}L]\bigodot f^{\prime}(u^l)$
④計算損失函數對 $W$ 和 $b$ 的梯度
$▽WlL=[▽ulL](xl?1)T\bigtriangledown _{W^l}L=[\bigtriangledown _{u^l}L] (x^{l-1})^T$
$▽blL=▽ulL\bigtriangledown _{b^l}L=\bigtriangledown _{u^l}L$
⑤梯度下降更新 $W$ 和 $b$
$Wl=Wl?η[▽WlL]W^l=W^l-\eta [\bigtriangledown _{W^l}L]$
$bl=bl?η[▽blL]b^l=b^l-\eta [\bigtriangledown _{b^l}L]$

需要推導出每一層都適用的結論是
$▽WlL=[▽ulL](xl?1)T\bigtriangledown _{W^l}L=[\bigtriangledown _{u^l}L] (x^{l-1})^T$
$▽blL=▽ulL\bigtriangledown _{b^l}L=\bigtriangledown _{u^l}L$
可見需要每一層損失函數對u的梯度
然后只有輸出層的這個梯度是可以直接求出來的
隱藏層的這個梯度都依靠于下一層才能求出來
所以按順序計算 $n_l,n_l-1,n_l-2,....,2$ 層的梯度

如果訓練時使用多個樣本對每個樣本求出梯度求出梯度的均值進行梯度下降即可
反向傳播算法的證明還需掌握（復合函數求導）

總結

以上是生活随笔為你收集整理的神经网络：全连接神经网络的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

神经网络