一、什么是BP

BP（Back Propagation）網(wǎng)絡(luò)是1986年由Rumelhart和McCelland為首的科學(xué)家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，而無(wú)需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。它的學(xué)習(xí)規(guī)則是使用梯度下降法，通過(guò)反向傳播來(lái)不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。BP神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)包括輸入層（input）、隱層(hide layer)和輸出層(output layer)。

我們現(xiàn)在來(lái)分析下這些話：

• “是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)”

BP是后向傳播的英文縮寫，那么傳播對(duì)象是什么？傳播的目的是什么？傳播的方式是后向，可這又是什么意思呢。

傳播的對(duì)象是誤差，傳播的目的是得到所有層的估計(jì)誤差，后向是說(shuō)由后層誤差推導(dǎo)前層誤差：

即BP的思想可以總結(jié)為

利用輸出后的誤差來(lái)估計(jì)輸出層的直接前導(dǎo)層的誤差，再用這個(gè)誤差估計(jì)更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計(jì)。?

• “BP神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)包括輸入層（input）、隱層(hide layer)和輸出層(output layer)”

我們來(lái)看一個(gè)最簡(jiǎn)單的三層BP：

• 網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，而無(wú)需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。”

? ? BP利用一種稱為激活函數(shù)來(lái)描述層與層輸出之間的關(guān)系，從而模擬各層神經(jīng)元之間的交互反應(yīng)。

? ? 激活函數(shù)必須滿足處處可導(dǎo)的條件。那么比較常用的是一種稱為S型函數(shù)的激活函數(shù)：

那么上面的函數(shù)為什么稱為是S型函數(shù)呢：

我們來(lái)看它的形態(tài)和它導(dǎo)數(shù)的形態(tài)：

p.s. S型函數(shù)的導(dǎo)數(shù)：

神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)目的：

希望能夠?qū)W習(xí)到一個(gè)模型，能夠?qū)斎胼敵鲆粋€(gè)我們期望的輸出。 ? 學(xué)習(xí)的方式： 在外界輸入樣本的刺激下不斷改變網(wǎng)絡(luò)的連接權(quán)值 ? 學(xué)習(xí)的本質(zhì)： 對(duì)各連接權(quán)值的動(dòng)態(tài)調(diào)整

學(xué)習(xí)的核心：

權(quán)值調(diào)整規(guī)則，即在學(xué)習(xí)過(guò)程中網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)變化所依據(jù)的一定的調(diào)整規(guī)則。

二、有監(jiān)督的BP模型訓(xùn)練過(guò)程

1. 思想

有監(jiān)督的BP模型訓(xùn)練表示我們有一個(gè)訓(xùn)練集，它包括了： input X 和它被期望擁有的輸出 output Y

所以對(duì)于當(dāng)前的一個(gè)BP模型，我們能夠獲得它針對(duì)于訓(xùn)練集的誤差

所以BP的核心思想就是：將輸出誤差以某種形式通過(guò)隱層向輸入層逐層反傳，這里的某種形式其實(shí)就是：

也就是一種 "信號(hào)的正向傳播 ----> 誤差的反向傳播"的過(guò)程：

2.具體

總結(jié)

以上是生活随笔為你收集整理的人工神经网络之BP神经网络模型的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。