31激活函數(shù)與Loss的梯度3

softmax
概率0-1，且所有所屬結(jié)點(diǎn)的概率和為1，用softmax適合多分類，且把之間的差距拉大，本來2.0與1.0差兩倍，現(xiàn)在0.7與0.2差3.5倍

求的是pi對(duì)aj的偏導(dǎo)，當(dāng)i=j

i!=j

32感知機(jī)的梯度推導(dǎo)1

x上標(biāo)0下標(biāo)n，上標(biāo)0表示第0層，下標(biāo)n表示第n個(gè)x
w上標(biāo)1下標(biāo)ij，上標(biāo)1表示第一層i表示連接上一層的xi，下標(biāo)j表示連接本層的j號(hào)結(jié)點(diǎn)
x上標(biāo)1下標(biāo)0，上標(biāo)1表示第1層的，下標(biāo)0表示第0號(hào)結(jié)點(diǎn)，激活后變O
O上標(biāo)1下標(biāo)0，上標(biāo)1表示第1層的，下標(biāo)0表示第0號(hào)結(jié)點(diǎn)
因?yàn)槭菃螌痈兄獧C(jī)，所以O(shè)只有一個(gè)

上標(biāo)表示層號(hào)，下標(biāo)表示本層的結(jié)點(diǎn)序號(hào)
loss=求和(O-t)**2 即（pred-y）**2

鏈?zhǔn)椒▌t

單層感知機(jī)
例子采用10號(hào)結(jié)點(diǎn)的輸入
這里先求出loss對(duì)w的梯度
之后可以利用公式w’=w-lr*loss對(duì)w的梯度不斷更新w使得xw趨近期望的y

33感知機(jī)的梯度推導(dǎo)2

共有N*M次連接
Wjk就是本層j號(hào)結(jié)點(diǎn)到k號(hào)結(jié)點(diǎn)的連接

對(duì)loss（error）對(duì)wjk的求導(dǎo)當(dāng)j=k的時(shí)候才對(duì)E對(duì)wjk的求導(dǎo)有影響，j!=k沒有影響都是0，所以可以把求和符號(hào)去掉

這條邊上的權(quán)值輸出關(guān)系只和這條邊上的輸入結(jié)點(diǎn)xj^0 和輸出結(jié)點(diǎn)Ok^1 有關(guān)（這里多看幾遍）

34鏈?zhǔn)椒▌t

鏈?zhǔn)椒▌t
像跳板一樣，逐一相乘再求解

35MLP反向傳播

（多看幾遍）

多層感知機(jī)

總結(jié)

以上是生活随笔為你收集整理的pytorch教程龙曲良31-35的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。