BP神經(jīng)網(wǎng)絡(luò)：BackPropagation Neuron NetWok

BP 神經(jīng)網(wǎng)絡(luò)是一類基于誤差逆向傳播 (BackPropagation, 簡(jiǎn)稱 BP) 算法的多層前饋神經(jīng)網(wǎng)絡(luò)，BP算法是迄今最成功的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。現(xiàn)實(shí)任務(wù)中使用神經(jīng)網(wǎng)絡(luò)時(shí)，大多是在使用 BP 算法進(jìn)行訓(xùn)練。值得指出的是，BP算法不僅可用于多層前饋神經(jīng)網(wǎng)絡(luò)，還可以用于其他類型的神經(jīng)網(wǎng)絡(luò)，例如訓(xùn)練遞歸神經(jīng)網(wǎng)絡(luò)。但我們通常說 “BP 網(wǎng)絡(luò)” 時(shí)，一般是指用 BP 算法訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)。

括號(hào)內(nèi)的值如果大于0即比閾值b大，表示神經(jīng)元被激活；如果小于0即比閾值b小表示神經(jīng)元被抑制。

要計(jì)算最后的的話是要先拿到到，然后進(jìn)行一個(gè)線性加權(quán)，再減去閾值，被激活函數(shù)激活一下，然后就拿到了中間這個(gè)神經(jīng)元的輸出，然后這個(gè)輸出再作為下一個(gè)的最終神經(jīng)元的輸入，其實(shí)說白了前饋神經(jīng)網(wǎng)絡(luò)就是一個(gè)函數(shù)的復(fù)合，之所以叫前饋是因?yàn)樗谙蚯皬?fù)合，在向前算最終的輸出。所以神經(jīng)網(wǎng)絡(luò)說白了就是函數(shù)的復(fù)合。 如何確定這個(gè)復(fù)合函數(shù)呢？其實(shí)這個(gè)函數(shù)里邊的參數(shù)就是權(quán)重，以及每一個(gè)神經(jīng)元他都有一個(gè)閾值。

前饋神經(jīng)網(wǎng)絡(luò)的訓(xùn)練：從訓(xùn)練集中學(xué)習(xí)權(quán)重和閾值。如果確定了權(quán)重和閾值，其實(shí)就是確定了一個(gè)復(fù)合映射。確定了復(fù)合映射之后，給定一個(gè)新的x我們就可以做預(yù)測(cè)了，只需要把x帶進(jìn)來一層一層的計(jì)算。

在這個(gè)神經(jīng)網(wǎng)絡(luò)中由于他是有函數(shù)的復(fù)合，以及激活函數(shù)，這個(gè)激活函數(shù)大部分情況下是非線性的，然后函數(shù)的復(fù)合也會(huì)導(dǎo)致函數(shù)非線性，所以這個(gè)神經(jīng)網(wǎng)絡(luò)他作為復(fù)合的映射的話，他是非線性的。

BP算法基于梯度下降法。使用梯度下降法更新權(quán)重即進(jìn)行誤差逆?zhèn)鞑ァ?/p>

說明：

（1）輸出：輸出是向量形式的輸出，多分類輸出；如果說是一個(gè)回歸問題的話，單輸出的回歸問題。如果是一個(gè)多分類問題，那么輸出就是多個(gè)神經(jīng)元，但是對(duì)于分類問題就不能使用均方誤差作為損失函數(shù)，需要使用到交叉熵作為損失函數(shù)。

（2）初始化：隨機(jī)初始化最常用。當(dāng)然還有其他一些比較聰明的方法。

（3）學(xué)習(xí)率的問題：不能太大也不能太小。

（4）停止條件：誤差比較小或者梯度不再更新或者梯度在若干輪比較小。

（5）每一輪是使用一個(gè)樣本來更新權(quán)重，或者使用所有的樣本來更新權(quán)重，或者是使用一批樣本來更新權(quán)重。那么優(yōu)化目標(biāo)就要變成每個(gè)樣本的均方誤差的平均值。

在推導(dǎo)單隱藏層的BP算法的時(shí)候，已經(jīng)非常麻煩了。如果有多個(gè)隱藏層，手工去推導(dǎo)是非常復(fù)雜的。簡(jiǎn)便的算法那就是使用計(jì)算圖的方法，計(jì)算圖也是復(fù)合函數(shù)求導(dǎo)來更新權(quán)重，復(fù)合函數(shù)求導(dǎo)結(jié)合梯度下降來更新權(quán)重，不過他表示的傳梯度的方式是比較有效的。

如果整個(gè)數(shù)據(jù)集沒有劃分測(cè)試集或者訓(xùn)練集，需要使用k折交叉驗(yàn)證法。https://blog.csdn.net/tianguiyuyu/article/details/80697223

?

?

?

總結(jié)

以上是生活随笔為你收集整理的第二章：3、BP神经网络的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。