BP神經(jīng)網(wǎng)絡(luò)的核心問題是什么?其優(yōu)缺點有哪些?

。

人工神經(jīng)網(wǎng)絡(luò),是一種旨在模仿人腦結(jié)構(gòu)及其功能的信息處理系統(tǒng),就是使用人工神經(jīng)網(wǎng)絡(luò)方法實現(xiàn)模式識別.可處理一些環(huán)境信息十分復(fù)雜,背景知識不清楚,推理規(guī)則不明確的問題,神經(jīng)網(wǎng)絡(luò)方法允許樣品有較大的缺損和畸變.神經(jīng)網(wǎng)絡(luò)的類型很多,建立神經(jīng)網(wǎng)絡(luò)模型時,根據(jù)研究對象的特點,可以考慮不同的神經(jīng)網(wǎng)絡(luò)模型.前饋型BP網(wǎng)絡(luò),即誤差逆?zhèn)鞑ド窠?jīng)網(wǎng)絡(luò)是最常用,最流行的神經(jīng)網(wǎng)絡(luò).BP網(wǎng)絡(luò)的輸入和輸出關(guān)系可以看成是一種映射關(guān)系,即每一組輸入對應(yīng)一組輸出.BP算法是最著名的多層前向網(wǎng)絡(luò)訓(xùn)練算法,盡管存在收斂速度慢,局部極值等缺點,但可通過各種改進(jìn)措施來提高它的收斂速度,克服局部極值現(xiàn)象,而且具有簡單,易行,計算量小,并行性強等特點,目前仍是多層前向網(wǎng)絡(luò)的首選算法.多層前向BP網(wǎng)絡(luò)的優(yōu)點：網(wǎng)絡(luò)實質(zhì)上實現(xiàn)了一個從輸入到輸出的映射功能，而數(shù)學(xué)理論已證明它具有實現(xiàn)任何復(fù)雜非線性映射的功能。

這使得它特別適合于求解內(nèi)部機制復(fù)雜的問題；網(wǎng)絡(luò)能通過學(xué)習(xí)帶正確答案的實例集自動提取“合理的”求解規(guī)則，即具有自學(xué)習(xí)能力；網(wǎng)絡(luò)具有一定的推廣、概括能力。

多層前向BP網(wǎng)絡(luò)的問題：從數(shù)學(xué)角度看，BP算法為一種局部搜索的優(yōu)化方法，但它要解決的問題為求解復(fù)雜非線性函數(shù)的全局極值，因此，算法很有可能陷入局部極值，使訓(xùn)練失敗；網(wǎng)絡(luò)的逼近、推廣能力同學(xué)習(xí)樣本的典型性密切相關(guān)，而從問題中選取典型樣本實例組成訓(xùn)練集是一個很困難的問題。

難以解決應(yīng)用問題的實例規(guī)模和網(wǎng)絡(luò)規(guī)模間的矛盾。這涉及到網(wǎng)絡(luò)容量的可能性與可行性的關(guān)系問題，即學(xué)習(xí)復(fù)雜性問題；網(wǎng)絡(luò)結(jié)構(gòu)的選擇尚無一種統(tǒng)一而完整的理論指導(dǎo)，一般只能由經(jīng)驗選定。

為此，有人稱神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)選擇為一種藝術(shù)。而網(wǎng)絡(luò)的結(jié)構(gòu)直接影響網(wǎng)絡(luò)的逼近能力及推廣性質(zhì)。

因此，應(yīng)用中如何選擇合適的網(wǎng)絡(luò)結(jié)構(gòu)是一個重要的問題；新加入的樣本要影響已學(xué)習(xí)成功的網(wǎng)絡(luò)，而且刻畫每個輸入樣本的特征的數(shù)目也必須相同；網(wǎng)絡(luò)的預(yù)測能力（也稱泛化能力、推廣能力）與訓(xùn)練能力（也稱逼近能力、學(xué)習(xí)能力）的矛盾。

一般情況下，訓(xùn)練能力差時，預(yù)測能力也差，并且一定程度上，隨訓(xùn)練能力地提高，預(yù)測能力也提高。但這種趨勢有一個極限，當(dāng)達(dá)到此極限時，隨訓(xùn)練能力的提高，預(yù)測能力反而下降，即出現(xiàn)所謂“過擬合”現(xiàn)象。

此時，網(wǎng)絡(luò)學(xué)習(xí)了過多的樣本細(xì)節(jié)，而不能反映樣本內(nèi)含的規(guī)律由于BP算法本質(zhì)上為梯度下降法，而它所要優(yōu)化的目標(biāo)函數(shù)又非常復(fù)雜，因此，必然會出現(xiàn)“鋸齒形現(xiàn)象”，這使得BP算法低效；存在麻痹現(xiàn)象，由于優(yōu)化的目標(biāo)函數(shù)很復(fù)雜，它必然會在神經(jīng)元輸出接近0或1的情況下，出現(xiàn)一些平坦區(qū)，在這些區(qū)域內(nèi)，權(quán)值誤差改變很小，使訓(xùn)練過程幾乎停頓；為了使網(wǎng)絡(luò)執(zhí)行BP算法，不能用傳統(tǒng)的一維搜索法求每次迭代的步長，而必須把步長的更新規(guī)則預(yù)先賦予網(wǎng)絡(luò)，這種方法將引起算法低效。

BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用不足

神經(jīng)網(wǎng)絡(luò)可以用作分類、聚類、預(yù)測等AI愛發(fā)貓 www.aifamao.com。神經(jīng)網(wǎng)絡(luò)需要有一定量的歷史數(shù)據(jù)，通過歷史數(shù)據(jù)的訓(xùn)練，網(wǎng)絡(luò)可以學(xué)習(xí)到數(shù)據(jù)中隱含的知識。

在你的問題中，首先要找到某些問題的一些特征，以及對應(yīng)的評價數(shù)據(jù)，用這些數(shù)據(jù)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。雖然BP網(wǎng)絡(luò)得到了廣泛的應(yīng)用，但自身也存在一些缺陷和不足，主要包括以下幾個方面的問題。

首先，由于學(xué)習(xí)速率是固定的，因此網(wǎng)絡(luò)的收斂速度慢，需要較長的訓(xùn)練時間。

對于一些復(fù)雜問題，BP算法需要的訓(xùn)練時間可能非常長，這主要是由于學(xué)習(xí)速率太小造成的，可采用變化的學(xué)習(xí)速率或自適應(yīng)的學(xué)習(xí)速率加以改進(jìn)。

其次，BP算法可以使權(quán)值收斂到某個值，但并不保證其為誤差平面的全局最小值，這是因為采用梯度下降法可能產(chǎn)生一個局部最小值。對于這個問題，可以采用附加動量法來解決。

再次，網(wǎng)絡(luò)隱含層的層數(shù)和單元數(shù)的選擇尚無理論上的指導(dǎo)，一般是根據(jù)經(jīng)驗或者通過反復(fù)實驗確定。因此，網(wǎng)絡(luò)往往存在很大的冗余性，在一定程度上也增加了網(wǎng)絡(luò)學(xué)習(xí)的負(fù)擔(dān)。最后，網(wǎng)絡(luò)的學(xué)習(xí)和記憶具有不穩(wěn)定性。

也就是說，如果增加了學(xué)習(xí)樣本，訓(xùn)練好的網(wǎng)絡(luò)就需要從頭開始訓(xùn)練，對于以前的權(quán)值和閾值是沒有記憶的。但是可以將預(yù)測、分類或聚類做的比較好的權(quán)值保存。

bp算法在深度神經(jīng)網(wǎng)絡(luò)上為什么行不通

BP算法作為傳統(tǒng)訓(xùn)練多層網(wǎng)絡(luò)的典型算法，實際上對僅含幾層網(wǎng)絡(luò)，該訓(xùn)練方法就已經(jīng)很不理想，不再往下進(jìn)行計算了，所以不適合深度神經(jīng)網(wǎng)絡(luò)。

BP算法存在的問題：（1）梯度越來越稀疏：從頂層越往下，誤差校正信號越來越小。（2）收斂到局部最小值：尤其是從遠(yuǎn)離最優(yōu)區(qū)域開始的時候（隨機值初始化會導(dǎo)致這種情況的發(fā)生）。

（3）一般，我們只能用有標(biāo)簽的數(shù)據(jù)來訓(xùn)練：但大部分的數(shù)據(jù)是沒標(biāo)簽的，而大腦可以從沒有標(biāo)簽的的數(shù)據(jù)中學(xué)習(xí)。深度神經(jīng)網(wǎng)絡(luò)的特點：多層的好處是可以用較少的參數(shù)表示復(fù)雜的函數(shù)。

在監(jiān)督學(xué)習(xí)中，以前的多層神經(jīng)網(wǎng)絡(luò)的問題是容易陷入局部極值點。如果訓(xùn)練樣本足夠充分覆蓋未來的樣本，那么學(xué)到的多層權(quán)重可以很好的用來預(yù)測新的測試樣本。非監(jiān)督學(xué)習(xí)中，以往沒有有效的方法構(gòu)造多層網(wǎng)絡(luò)。

多層神經(jīng)網(wǎng)絡(luò)的頂層是底層特征的高級表示，比如底層是像素點，上一層的結(jié)點可能表示橫線，三角；而頂層可能有一個結(jié)點表示人臉。一個成功的算法應(yīng)該能讓生成的頂層特征最大化的代表底層的樣例。

如果對所有層同時訓(xùn)練，時間復(fù)雜度會太高；如果每次訓(xùn)練一層，偏差就會逐層傳遞。這會面臨跟上面監(jiān)督學(xué)習(xí)中相反的問題，會嚴(yán)重欠擬合。

RBF神經(jīng)網(wǎng)絡(luò)的缺點！

1.RBF的泛化能力在多個方面都優(yōu)于BP網(wǎng)絡(luò),但是在解決具有相同精度要求的問題時,BP網(wǎng)絡(luò)的結(jié)構(gòu)要比RBF網(wǎng)絡(luò)簡單。

2.RBF網(wǎng)絡(luò)的逼近精度要明顯高于BP網(wǎng)絡(luò),它幾乎能實現(xiàn)完全逼近,而且設(shè)計起來極其方便,網(wǎng)絡(luò)可以自動增加神經(jīng)元直到滿足精度要求為止。

但是在訓(xùn)練樣本增多時,RBF網(wǎng)絡(luò)的隱層神經(jīng)元數(shù)遠(yuǎn)遠(yuǎn)高于前者,使得RBF網(wǎng)絡(luò)的復(fù)雜度大增加,結(jié)構(gòu)過于龐大,從而運算量也有所增加。

3.RBF神經(jīng)網(wǎng)絡(luò)是一種性能優(yōu)良的前饋型神經(jīng)網(wǎng)絡(luò)，RBF網(wǎng)絡(luò)可以任意精度逼近任意的非線性函數(shù)，且具有全局逼近能力，從根本上解決了BP網(wǎng)絡(luò)的局部最優(yōu)問題，而且拓?fù)浣Y(jié)構(gòu)緊湊，結(jié)構(gòu)參數(shù)可實現(xiàn)分離學(xué)習(xí)，收斂速度快。

4.他們的結(jié)構(gòu)是完全不一樣的。BP是通過不斷的調(diào)整神經(jīng)元的權(quán)值來逼近最小誤差的。其方法一般是梯度下降。

RBF是一種前饋型的神經(jīng)網(wǎng)絡(luò)，也就是說他不是通過不停的調(diào)整權(quán)值來逼近最小誤差的，的激勵函數(shù)是一般是高斯函數(shù)和BP的S型函數(shù)不一樣，高斯函數(shù)是通過對輸入與函數(shù)中心點的距離來算權(quán)重的。

5.bp神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)速率是固定的，因此網(wǎng)絡(luò)的收斂速度慢，需要較長的訓(xùn)練時間。對于一些復(fù)雜問題，BP算法需要的訓(xùn)練時間可能非常長，這主要是由于學(xué)習(xí)速率太小造成的。

而rbf神經(jīng)網(wǎng)絡(luò)是種高效的前饋式網(wǎng)絡(luò)，它具有其他前向網(wǎng)絡(luò)所不具有的最佳逼近性能和全局最優(yōu)特性，并且結(jié)構(gòu)簡單，訓(xùn)練速度快。

極端氣溫、降雨-洪水模型(BP神經(jīng)網(wǎng)絡(luò))的建立

極端氣溫、降雨與洪水之間有一定的聯(lián)系。

根據(jù)1958～2007年廣西西江流域極端氣溫、極端降雨和梧州水文站洪水?dāng)?shù)據(jù)，以第5章相關(guān)分析所確定的顯著影響梧州水文站年最大流量的測站的相應(yīng)極端氣候因素(表4.22)為輸入，建立人工神經(jīng)網(wǎng)絡(luò)模型。

4.5.1.1BP神經(jīng)網(wǎng)絡(luò)概述(1)基于BP算法的多層前饋網(wǎng)絡(luò)模型采用BP算法的多層前饋網(wǎng)絡(luò)是至今為止應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)，在多層的前饋網(wǎng)的應(yīng)用中，如圖4.20所示的三層前饋網(wǎng)的應(yīng)用最為普遍，其包括了輸入層、隱層和輸出層。

圖4.20典型的三層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)在正向傳播中，輸入信息從輸入層經(jīng)隱含層逐層處理，并傳向輸出層。

如果輸出層不能得到期望的輸出結(jié)果，則轉(zhuǎn)入反向傳播，將誤差信號沿原來的連同通路返回，通過修改各層神經(jīng)元的權(quán)值，使得誤差最小。BP算法流程如圖4.21所示。

圖4.21BP算法流程圖容易看出，BP學(xué)習(xí)算法中，各層權(quán)值調(diào)整均由3個因素決定，即學(xué)習(xí)率、本層輸出的誤差信號以及本層輸入信號y(或x)。

其中，輸出層誤差信號同網(wǎng)絡(luò)的期望輸出與實際輸出之差有關(guān)，直接反映了輸出誤差，而各隱層的誤差信號與前面各層的誤差信號都有關(guān)，是從輸出層開始逐層反傳過來的。

1988年，Cybenko指出兩個隱含層就可表示輸入圖形的任意輸出函數(shù)。

如果BP網(wǎng)絡(luò)只有兩個隱層，且輸入層、第一隱含層、第二隱層和輸出層的單元個數(shù)分別為n，p，q，m，則該網(wǎng)絡(luò)可表示為BP(n，p，q，m)。

(2)研究區(qū)極端氣溫、極端降雨影響年最大流量過程概化極端氣溫、極端降雨影響年最大流量的過程極其復(fù)雜，從極端降雨到年最大流量，中間要經(jīng)過蒸散發(fā)、分流、下滲等環(huán)節(jié)，受到地形、地貌、下墊面、土壤地質(zhì)以及人類活動等多種因素的影響。

可將一個極端氣候-年最大流量間復(fù)雜的水過程概化為小尺度的水系統(tǒng)，該水系統(tǒng)的主要影響因子可通過對年最大流量影響顯著的站點的極端氣溫和極端降雨體現(xiàn)出來，而其中影響不明顯的站點可忽略，從而使問題得以簡化。

BP神經(jīng)網(wǎng)絡(luò)是一個非線形系統(tǒng)，可用于逼近非線形映射關(guān)系，也可用于逼近一個極為復(fù)雜的函數(shù)關(guān)系。極端氣候-年最大流量水系統(tǒng)是一個非常復(fù)雜的映射關(guān)系，可將之概化為一個系統(tǒng)。

BP神經(jīng)網(wǎng)絡(luò)與研究流域的極端氣候-年最大流量水系統(tǒng)的結(jié)構(gòu)是相似的，利用BP神經(jīng)網(wǎng)絡(luò)，對之進(jìn)行模擬逼近。

(3)隱含層單元數(shù)的確定隱含層單元數(shù)q與所研究的具體問題有關(guān)，目前尚無統(tǒng)一的確定方法，通常根據(jù)網(wǎng)絡(luò)訓(xùn)練情況采用試錯法確定。

在訓(xùn)練中網(wǎng)絡(luò)的收斂采用輸出值Ykp與實測值tp的誤差平方和進(jìn)行控制變環(huán)境條件下的水資源保護(hù)與可持續(xù)利用研究作者認(rèn)為，雖然現(xiàn)今的BP神經(jīng)網(wǎng)絡(luò)還是一個黑箱模型，其參數(shù)沒有水文物理意義，在本節(jié)的研究過程中，將嘗試著利用極端氣候空間分析的結(jié)果來指導(dǎo)隱含層神經(jīng)元個數(shù)的選取。

(4)傳遞函數(shù)的選擇BP神經(jīng)網(wǎng)絡(luò)模型算法存在需要較長的訓(xùn)練時間、完全不能訓(xùn)練、易陷入局部極小值等缺點，可通過對模型附加動量項或設(shè)置自適應(yīng)學(xué)習(xí)速率來改良。

本節(jié)采用MATLAB工具箱中帶有自適應(yīng)學(xué)習(xí)速率進(jìn)行反向傳播訓(xùn)練的traingdm(　)函數(shù)來實現(xiàn)。

(5)模型數(shù)據(jù)的歸一化處理由于BP網(wǎng)絡(luò)的輸入層物理量及數(shù)值相差甚遠(yuǎn)，為了加快網(wǎng)絡(luò)收斂的速度，使網(wǎng)絡(luò)在訓(xùn)練過程中易于收斂，對輸入數(shù)據(jù)進(jìn)行歸一化處理，即將輸入的原始數(shù)據(jù)都化為0～1之間的數(shù)。

本節(jié)將年極端最高氣溫的數(shù)據(jù)乘以0.01;將極端最低氣溫的數(shù)據(jù)乘以0.1;年最大1d、3d、7d降雨量的數(shù)據(jù)乘以0.001;梧州水文站年最大流量的數(shù)據(jù)乘以0.00001，其他輸入數(shù)據(jù)也按類似的方法進(jìn)行歸一化處理。

(6)年最大流量的修正梧州水文站以上的流域集水面積為32.70萬km2，廣西境內(nèi)流域集水面積為20.24萬km2，廣西境內(nèi)流域集水面積占梧州水文站以上的流域集水面積的61.91%。

因此，選取2003～2007年梧州水文站年最大流量和紅水河的天峨水文站年最大流量，分別按式4.10計算每年的貢獻(xiàn)率(表4.25)，取其平均值作為廣西西江流域極端降雨對梧州水文站年最大流量的平均貢獻(xiàn)率，最后確定平均貢獻(xiàn)率為76.88%。

變環(huán)境條件下的水資源保護(hù)與可持續(xù)利用研究表4.252003～2007年極端降雨對梧州水文站年最大流量的貢獻(xiàn)率建立“年極端氣溫、降雨與梧州年最大流量模型”時，應(yīng)把平均貢獻(xiàn)率與梧州水文站年最大流量的乘積作為模型輸入的修正年最大流量，而預(yù)測的年最大流量應(yīng)該為輸出的年最大流量除以平均貢獻(xiàn)率76.88%，以克服極端氣溫和降雨研究范圍與梧州水文站集水面積不一致的問題。

4.5.1.2年極端氣溫、年最大1d降雨與梧州年最大流量的BP神經(jīng)網(wǎng)絡(luò)模型(1)模型的建立以1958～1997年年極端最高氣溫、年極端最低氣溫、年最大1d降雨量與梧州水文站年最大流量作為學(xué)習(xí)樣本擬合、建立“年極端氣溫、年最大1d降雨-梧州年最大流量BP神經(jīng)網(wǎng)絡(luò)模型”。

以梧州氣象站的年極端最高氣溫，桂林、欽州氣象站的年極端最低氣溫，榜圩、馬隴、三門、黃冕、沙街、勾灘、天河、百壽、河池、貴港、金田、平南、大化、桂林、修仁、五將雨量站的年最大1d降雨量為輸入，梧州水文站年最大流量為輸出，隱含層層數(shù)取2，建立(19，p，q，1)BP神經(jīng)網(wǎng)絡(luò)模型，其中神經(jīng)元數(shù)目p，q經(jīng)試算分別取16和3，第一隱層、第二隱層的神經(jīng)元采用tansig傳遞函數(shù)，輸出層的神經(jīng)元采用線性傳遞函數(shù)，訓(xùn)練函數(shù)選用traingdm，學(xué)習(xí)率取0.1，動量項取0.9，目標(biāo)取0.0001，最大訓(xùn)練次數(shù)取200000。

BP網(wǎng)絡(luò)模型參數(shù)見表4.26，結(jié)構(gòu)如圖4.22所示。

圖4.22年極端氣溫、年最大1d降雨-梧州年最大流量BP模型結(jié)構(gòu)圖表4.26BP網(wǎng)絡(luò)模型參數(shù)一覽表從結(jié)構(gòu)上分析，梧州水文站年最大流量產(chǎn)生過程中，年最高氣溫、年最低氣溫和各支流相應(yīng)的流量都有其閾值，而極端氣溫和極端降雨是其輸入，年最大流量是其輸出，這類似于人工神經(jīng)元模型中的閾值、激活值、輸出等器件。

輸入年最大1d降雨時選用的雨量站分布在14條支流上(表4.27)，極端降雨發(fā)生后，流經(jīng)14條支流匯入梧州，在這一過程中極端氣溫的變化影響極端降雨的蒸散發(fā)，選用的雨量站分布在年最大1d降雨四個自然分區(qū)的Ⅱ、Ⅲ、Ⅳ3個區(qū)。

該過程可與BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行類比(表4.28)，其中，14條支流相當(dāng)于第一隱含層中的14個神經(jīng)元，年最高氣溫和年最低氣溫相當(dāng)于第一隱含層中的2個神經(jīng)元，年最大1d降雨所在的3個分區(qū)相當(dāng)于第二隱含層的3個神經(jīng)元，年最高氣溫、年最低氣溫的影響值和各支流流量的奉獻(xiàn)值相當(dāng)于隱含層中人工神經(jīng)元的閾值，從整體上來說，BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)已經(jīng)灰箱化。

表4.27選用雨量站所在支流一覽表表4.28BP神經(jīng)網(wǎng)絡(luò)構(gòu)件物理意義一覽表(2)訓(xùn)練效果分析訓(xùn)練樣本為40個，經(jīng)過113617次訓(xùn)練，達(dá)到精度要求。

在命令窗口執(zhí)行運行命令，網(wǎng)絡(luò)開始學(xué)習(xí)和訓(xùn)練，其訓(xùn)練過程如圖4.23所示，訓(xùn)練結(jié)果見表4.29和圖4.24。

表4.29年最大流量訓(xùn)練結(jié)果圖4.23神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程圖圖4.24年最大流量神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練結(jié)果從圖4.26可知，訓(xùn)練后的BP網(wǎng)絡(luò)能較好地逼近給定的目標(biāo)函數(shù)。

從訓(xùn)練樣本檢驗結(jié)果(表4.5)可得:1958～1997年40年中年最大流量模擬值與實測值的相對誤差小于10%和20%的分別為39年，40年，合格率為100%。

說明“年極端氣溫、年最大1d降雨-梧州年最大流量預(yù)測模型”的實際輸出與實測結(jié)果誤差很小，該模型的泛化能力較好，模擬結(jié)果較可靠。

(3)模型預(yù)測檢驗把1998～2007年梧州氣象站的年極端最高氣溫，桂林、欽州氣象站的年極端最低氣溫，榜圩、馬隴、三門、黃冕、沙街、勾灘、天河、百壽、河池、貴港、金田、平南、大化、桂林、修仁、五將雨量站的年最大1d降雨量輸入到“年極端氣溫、年最大1d降雨梧州年最大流量BP神經(jīng)網(wǎng)絡(luò)模型”。

程序運行后網(wǎng)絡(luò)輸出預(yù)測值與已知的實際值進(jìn)行比較，其預(yù)測檢驗結(jié)果見圖4.25，表4.30。

圖4.25年最大流量神經(jīng)網(wǎng)絡(luò)模型預(yù)測檢驗結(jié)果表4.30神經(jīng)網(wǎng)絡(luò)模型預(yù)測結(jié)果與實際結(jié)果比較從預(yù)測檢驗結(jié)果可知:1998～2007年10年中年最大流量模擬值與實測值的相對誤差小于20%的為9年，合格率為90%，效果較好。

4.5.1.3年極端氣溫、年最大7d降雨與梧州年最大流量的BP神經(jīng)網(wǎng)絡(luò)模型(1)模型的建立以1958～1997年年極端最高氣溫、年極端最低氣溫、年最大7d降雨量和梧州水文站年最大流量作為學(xué)習(xí)樣本來擬合、建立“年極端氣溫、年最大7d降雨-梧州年最大流量BP神經(jīng)網(wǎng)絡(luò)模型”。

以梧州氣象站的年極端最高氣溫，桂林、欽州氣象站的年極端最低氣溫，鳳山、都安、馬隴、沙街、大湟江口、大安、大化、陽朔、五將雨量站的年最大7d降雨量為輸入，梧州水文站年最大流量為輸出，隱含層層數(shù)取2，建立(12，p，q，1)BP神經(jīng)網(wǎng)絡(luò)模型，其中，神經(jīng)元數(shù)目p，q經(jīng)試算分別取10和4，第一隱層、第二隱層的神經(jīng)元采用tansig傳遞函數(shù)，輸出層的神經(jīng)元采用線性傳遞函數(shù)，訓(xùn)練函數(shù)選用traingdm，學(xué)習(xí)率取0.1，動量項取0.9，目標(biāo)取0.0001，最大訓(xùn)練次數(shù)取200000。

BP網(wǎng)絡(luò)模型參數(shù)見表4.31，結(jié)構(gòu)如圖4.26所示。

表4.31BP網(wǎng)絡(luò)模型參數(shù)一覽表圖4.26年極端氣溫、年最大7d降雨-梧州年最大流量BP模型結(jié)構(gòu)圖本節(jié)輸入年最大7d降雨時選用的雨量站分布在8條支流上(表4.32)，在發(fā)生極端降雨后，流經(jīng)8條支流匯入梧州，在這一過程中極端氣溫的變化影響極端降雨的蒸散發(fā)，且選用的雨量站分布在年最大7d降雨四個自然分區(qū)的Ⅰ、Ⅱ、Ⅲ、Ⅳ4個區(qū)中。

該過程可與BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行類比(表4.33)，其中，8條支流相當(dāng)于第一隱含層中的8個神經(jīng)元，年最高氣溫和年最低氣溫相當(dāng)于第一隱含層中的2個神經(jīng)元，年最大7d降雨所在的4個分區(qū)相當(dāng)于第二隱含層的4個神經(jīng)元，整體上來說，BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)已經(jīng)灰箱化。

表4.32選用雨量站所在支流一覽表表4.33BP神經(jīng)網(wǎng)絡(luò)構(gòu)件物理意義一覽表(2)訓(xùn)練效果分析訓(xùn)練樣本為40個，經(jīng)過160876次的訓(xùn)練，達(dá)到精度要求，在命令窗口執(zhí)行運行命令，網(wǎng)絡(luò)開始學(xué)習(xí)和訓(xùn)練，其訓(xùn)練過程如圖4.27所示，訓(xùn)練結(jié)果見表4.34，圖4.28。

圖4.27神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程圖表4.34年最大流量訓(xùn)練結(jié)果圖4.28年最大流量神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練結(jié)果從圖4.28可知，訓(xùn)練后的BP網(wǎng)絡(luò)能較好地逼近給定的目標(biāo)函數(shù)。

由訓(xùn)練樣本檢驗結(jié)果(表4.34)可得:1958～1997年40年中年最大流量模擬值與實測值的相對誤差小于10%和20%的，分別為38年、40年，合格率為100%。

說明“年極端氣溫、年最大7d降雨-梧州年最大流量BP神經(jīng)網(wǎng)絡(luò)模型”的泛化能力較好，模擬的結(jié)果較可靠。

(3)模型預(yù)測檢驗把1998～2007年梧州氣象站的年極端最高氣溫，桂林、欽州氣象站的年極端最低氣溫，鳳山、都安、馬隴、沙街、大湟江口、大安、大化、陽朔、五將雨量站的年最大7d降雨量輸入到“年極端氣溫、年最大7d降雨-梧州年最大流量BP神經(jīng)網(wǎng)絡(luò)模型”。

程序運行后網(wǎng)絡(luò)輸出預(yù)測值與已知的實際值進(jìn)行比較，其預(yù)測結(jié)果見圖4.29和表4.35。

圖4.29年最大流量神經(jīng)網(wǎng)絡(luò)模型預(yù)測檢驗結(jié)果表4.35神經(jīng)網(wǎng)絡(luò)模型預(yù)測結(jié)果與實際結(jié)果比較由預(yù)測檢驗結(jié)果可知:1998～2007年10年中年最大流量模擬值與實測值的相對誤差小于20%的為7年，合格率為70%，效果較好。

4.5.1.4梧州年最大流量-年最高水位的BP神經(jīng)網(wǎng)絡(luò)模型(1)模型的建立以1941～1997年梧州水文站的年最大流量與年最高水位作為學(xué)習(xí)樣本來擬合、建立梧州水文站的“年最大流量-年最高水位BP神經(jīng)網(wǎng)絡(luò)模型”。

以年最大流量為輸入，年最高水位為輸出，隱含層層數(shù)取1，建立(1，q，1)BP神經(jīng)網(wǎng)絡(luò)模型，其中，神經(jīng)元數(shù)目q經(jīng)試算取7，隱含層、輸出層的神經(jīng)元采用線性傳遞函數(shù)，訓(xùn)練函數(shù)選用traingdm，學(xué)習(xí)率取0.1，動量項取0.9，目標(biāo)取0.00001，最大訓(xùn)練次數(shù)取200000。

BP網(wǎng)絡(luò)模型參數(shù)見表4.36，結(jié)構(gòu)如圖4.30所示。

表4.36BP網(wǎng)絡(luò)模型參數(shù)一覽表圖4.30梧州年最大流量—年最高水位BP模型結(jié)構(gòu)圖廣西西江流域主要河流有南盤江、紅水河、黔潯江、郁江、柳江、桂江、賀江。

7條主要河流相當(dāng)于隱含層中的7個神經(jīng)元(表4.37)，整體上來說，BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)已經(jīng)灰箱化。

表4.37BP神經(jīng)網(wǎng)絡(luò)構(gòu)件物理意義一覽表(2)訓(xùn)練效果分析訓(xùn)練樣本為57個，經(jīng)過3327次訓(xùn)練，誤差下降梯度已達(dá)到最小值，但誤差為3.00605×10-5，未達(dá)到精度要求。

在命令窗口執(zhí)行運行命令，網(wǎng)絡(luò)開始學(xué)習(xí)和訓(xùn)練，其訓(xùn)練過程如圖4.31所示，訓(xùn)練結(jié)果見圖4.32和表4.38。

表4.38年最高水位訓(xùn)練結(jié)果從圖4.32和表4.19可看出，訓(xùn)練后的BP網(wǎng)絡(luò)能較好地逼近給定的目標(biāo)函數(shù)。

對于訓(xùn)練樣本，從檢驗結(jié)果可知:1941～1997年57年中年最高水位模擬值與實測值的相對誤差小于10%和20%的分別為56a，57a，合格率為100%。

說明“年最大流量-年最高水位BP神經(jīng)網(wǎng)絡(luò)模型”的實際輸出與實測結(jié)果誤差很小，該模型的泛化能力較好，模擬的結(jié)果比較可靠。

圖4.31神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程圖圖4.32年最高水位神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練結(jié)果(3)模型預(yù)測檢驗把1998～2007年梧州水文站年最大流量輸入到“年最大流量-年最高水位BP神經(jīng)網(wǎng)絡(luò)模型”。

程序運行后網(wǎng)絡(luò)輸出預(yù)測值與已知的實際值進(jìn)行比較，其預(yù)測結(jié)果見圖4.33，表4.39。

表4.39神經(jīng)網(wǎng)絡(luò)模型預(yù)測結(jié)果與實際結(jié)果比較從預(yù)測檢驗結(jié)果可知:1998～2007年10年中，年最高水位模擬值與實測值的相對誤差小于20%的為10年，合格率為100%，效果較好。

圖4.33年最高水位量神經(jīng)網(wǎng)絡(luò)模型預(yù)測檢驗結(jié)果。

蟻群算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò) 遇到的問題。

bp神經(jīng)網(wǎng)絡(luò)選擇激活sigmoid函數(shù)，還有tansig函數(shù)的優(yōu)缺點？求告知？

（1）對于深度神經(jīng)網(wǎng)絡(luò)，中間的隱層的輸出必須有一個激活函數(shù)。否則多個隱層的作用和沒有隱層相同。這個激活函數(shù)不一定是sigmoid，常見的有sigmoid、tanh、relu等。

（2）對于二分類問題，輸出層是sigmoid函數(shù)。這是因為sigmoid函數(shù)可以把實數(shù)域光滑的映射到[0,1]空間。函數(shù)值恰好可以解釋為屬于正類的概率（概率的取值范圍是0~1）。

另外，sigmoid函數(shù)單調(diào)遞增，連續(xù)可導(dǎo)，導(dǎo)數(shù)形式非常簡單，是一個比較合適的函數(shù)（3）對于多分類問題，輸出層就必須是softmax函數(shù)了。softmax函數(shù)是sigmoid函數(shù)的推廣。

bp神經(jīng)網(wǎng)絡(luò)與量子行為粒子群算法有什么不一樣

這四個都屬于人工智能算法的范疇。其中BP算法、BP神經(jīng)網(wǎng)絡(luò)和神經(jīng)網(wǎng)絡(luò)屬于神經(jīng)網(wǎng)絡(luò)這個大類。遺傳算法為進(jìn)化算法這個大類。

神經(jīng)網(wǎng)絡(luò)模擬人類大腦神經(jīng)計算過程，可以實現(xiàn)高度非線性的預(yù)測和計算，主要用于非線性擬合，識別，特點是需要“訓(xùn)練”，給一些輸入，告訴他正確的輸出。若干次后，再給新的輸入，神經(jīng)網(wǎng)絡(luò)就能正確的預(yù)測對于的輸出。

神經(jīng)網(wǎng)絡(luò)廣泛的運用在模式識別，故障診斷中。BP算法和BP神經(jīng)網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)的改進(jìn)版，修正了一些神經(jīng)網(wǎng)絡(luò)的缺點。遺傳算法屬于進(jìn)化算法，模擬大自然生物進(jìn)化的過程：優(yōu)勝略汰。

個體不斷進(jìn)化，只有高質(zhì)量的個體（目標(biāo)函數(shù)最小（大））才能進(jìn)入下一代的繁殖。如此往復(fù)，最終找到全局最優(yōu)值。遺傳算法能夠很好的解決常規(guī)優(yōu)化算法無法解決的高度非線性優(yōu)化問題，廣泛應(yīng)用在各行各業(yè)中。

差分進(jìn)化，蟻群算法，粒子群算法等都屬于進(jìn)化算法，只是模擬的生物群體對象不一樣而已。

BP網(wǎng)的功能及導(dǎo)高預(yù)測適用性

采用BP算法的前饋神經(jīng)網(wǎng)是神經(jīng)網(wǎng)絡(luò)在各個領(lǐng)域中應(yīng)用最廣泛的一種,已經(jīng)成功解決了大量實際問題。BP網(wǎng)的廣泛應(yīng)用,歸因于其主要能力：具有非線性映射能力、泛化能力與容錯能力。

多層前饋網(wǎng)能學(xué)習(xí)和存儲大量輸入-輸出模式映射關(guān)系,即使不了解描述這種映射關(guān)系的數(shù)學(xué)方程,只要能提供足夠多的樣本模式對以供BP網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練,它便可以完成由n維輸入空間到m維輸出空間的非線性映射,即非線性映射能力。

在工程上及許多技術(shù)領(lǐng)域中,對某一輸入輸出系統(tǒng)常常積累了大量相關(guān)的輸入輸出數(shù)據(jù),但仍未掌握其內(nèi)部蘊涵的規(guī)律,無法用數(shù)學(xué)方法來描述該規(guī)律。

對難以得到解析解、缺乏專家經(jīng)驗,但能夠表示和轉(zhuǎn)化為模式識別或非線性映射的這類問題,多層前饋網(wǎng)絡(luò)具有無可比擬的優(yōu)勢。

通過訓(xùn)練的多層前饋網(wǎng)絡(luò),將所提取的樣本對中的非線性映射關(guān)系存儲在權(quán)值矩陣中,當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時未曾見的非樣本數(shù)據(jù)時,網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射,即泛化能力,是衡量多層前饋網(wǎng)性能優(yōu)劣的一個重要方面。

由于權(quán)矩陣的調(diào)整是從大量的樣本中提取統(tǒng)計特性的過程,反映正確規(guī)律的知識來自全體樣本,個別樣本中的誤差不能左右對矩陣的調(diào)整。所以多層前饋網(wǎng)允許輸入樣本中帶有較大的誤差甚至個別錯誤,即容錯能力。

標(biāo)準(zhǔn)算法在應(yīng)用中具有訓(xùn)練次數(shù)多,學(xué)習(xí)效率低,收斂速度慢,隱節(jié)點的選取缺乏理論指導(dǎo),訓(xùn)練時學(xué)習(xí)新樣本有遺忘舊樣本的趨勢,容易形成局部極小而得到局部全優(yōu)等缺點,通過要權(quán)值調(diào)整公式中增加動量項α、自適應(yīng)調(diào)節(jié)學(xué)習(xí)率η、在轉(zhuǎn)移函數(shù)中引入陡度因子λ等方法,有效改進(jìn)了BP算法,進(jìn)一步提高其適用性。

因此,采用BP人工神經(jīng)網(wǎng)絡(luò)建立導(dǎo)水裂隙帶高度與其影響因子之間的非線性映射關(guān)系,并發(fā)揮BP網(wǎng)的泛化能力,輸入影響因子,對導(dǎo)水裂隙帶高度進(jìn)行預(yù)測,具有無可比擬的優(yōu)越性。

RBF神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)有什么區(qū)別

1.RBF的泛化能力在多個方面都優(yōu)于BP網(wǎng)絡(luò),但是在解決具有相同精度要求的問題時,BP網(wǎng)絡(luò)的結(jié)構(gòu)要比RBF網(wǎng)絡(luò)簡單。

2.RBF網(wǎng)絡(luò)的逼近精度要明顯高于BP網(wǎng)絡(luò),它幾乎能實現(xiàn)完全逼近,而且設(shè)計起來極其方便,網(wǎng)絡(luò)可以自動增加神經(jīng)元直到滿足精度要求為止。

但是在訓(xùn)練樣本增多時,RBF網(wǎng)絡(luò)的隱層神經(jīng)元數(shù)遠(yuǎn)遠(yuǎn)高于前者,使得RBF網(wǎng)絡(luò)的復(fù)雜度大增加,結(jié)構(gòu)過于龐大,從而運算量也有所增加。

3.RBF神經(jīng)網(wǎng)絡(luò)是一種性能優(yōu)良的前饋型神經(jīng)網(wǎng)絡(luò)，RBF網(wǎng)絡(luò)可以任意精度逼近任意的非線性函數(shù)，且具有全局逼近能力，從根本上解決了BP網(wǎng)絡(luò)的局部最優(yōu)問題，而且拓?fù)浣Y(jié)構(gòu)緊湊，結(jié)構(gòu)參數(shù)可實現(xiàn)分離學(xué)習(xí)，收斂速度快。

4.他們的結(jié)構(gòu)是完全不一樣的。BP是通過不斷的調(diào)整神經(jīng)元的權(quán)值來逼近最小誤差的。其方法一般是梯度下降。

RBF是一種前饋型的神經(jīng)網(wǎng)絡(luò)，也就是說他不是通過不停的調(diào)整權(quán)值來逼近最小誤差的，的激勵函數(shù)是一般是高斯函數(shù)和BP的S型函數(shù)不一樣，高斯函數(shù)是通過對輸入與函數(shù)中心點的距離來算權(quán)重的。

5.bp神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)速率是固定的，因此網(wǎng)絡(luò)的收斂速度慢，需要較長的訓(xùn)練時間。對于一些復(fù)雜問題，BP算法需要的訓(xùn)練時間可能非常長，這主要是由于學(xué)習(xí)速率太小造成的。

而rbf神經(jīng)網(wǎng)絡(luò)是種高效的前饋式網(wǎng)絡(luò)，它具有其他前向網(wǎng)絡(luò)所不具有的最佳逼近性能和全局最優(yōu)特性，并且結(jié)構(gòu)簡單，訓(xùn)練速度快。

?

總結(jié)

以上是生活随笔為你收集整理的bp神经网络模型的优缺点,bp神经网络缺点及克服的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。