非线性系统的理论和方法,神经网络的非线性
求助神經網絡做非線性回歸問題
樣本變量不需要那么多，因為神經網絡的信息存儲能力有限，過多的樣本會造成一些有用的信息被丟棄。如果樣本數量過多，應增加隱層節點數或隱層數目，才能增強學習能力。
一、隱層數一般認為，增加隱層數可以降低網絡誤差（也有文獻認為不一定能有效降低），提高精度，但也使網絡復雜化，從而增加了網絡的訓練時間和出現“過擬合”的傾向。
一般來講應設計神經網絡應優先考慮3層網絡（即有1個隱層）。一般地，靠增加隱層節點數來獲得較低的誤差，其訓練效果要比增加隱層數更容易實現。
對于沒有隱層的神經網絡模型，實際上就是一個線性或非線性（取決于輸出層采用線性或非線性轉換函數型式）回歸模型。
因此，一般認為，應將不含隱層的網絡模型歸入回歸分析中，技術已很成熟，沒有必要在神經網絡理論中再討論之。
二、隱層節點數在BP網絡中，隱層節點數的選擇非常重要，它不僅對建立的神經網絡模型的性能影響很大，而且是訓練時出現“過擬合”的直接原因，但是目前理論上還沒有一種科學的和普遍的確定方法。
目前多數文獻中提出的確定隱層節點數的計算公式都是針對訓練樣本任意多的情況，而且多數是針對最不利的情況，一般工程實踐中很難滿足，不宜采用。事實上，各種計算公式得到的隱層節點數有時相差幾倍甚至上百倍。
為盡可能避免訓練時出現“過擬合”現象，保證足夠高的網絡性能和泛化能力，確定隱層節點數的最基本原則是：在滿足精度要求的前提下取盡可能緊湊的結構，即取盡可能少的隱層節點數。
研究表明，隱層節點數不僅與輸入/輸出層的節點數有關，更與需解決的問題的復雜程度和轉換函數的型式以及樣本數據的特性等因素有關。
谷歌人工智能寫作項目：神經網絡偽原創
bp神經網絡
BP（BackPropagation）網絡是1986年由Rumelhart和McCelland為首的科學家小組提出，是一種按誤差逆傳播算法訓練的多層前饋網絡，是目前應用最廣泛的神經網絡模型之一寫作貓。
BP網絡能學習和存貯大量的輸入-輸出模式映射關系，而無需事前揭示描述這種映射關系的數學方程。它的學習規則是使用最速下降法，通過反向傳播來不斷調整網絡的權值和閾值，使網絡的誤差平方和最小。
BP神經網絡模型拓撲結構包括輸入層（input）、隱層(hidelayer)和輸出層(outputlayer)。人工神經網絡就是模擬人思維的第二種方式。
這是一個非線性動力學系統，其特色在于信息的分布式存儲和并行協同處理。雖然單個神經元的結構極其簡單，功能有限，但大量神經元構成的網絡系統所能實現的行為卻是極其豐富多彩的。
人工神經網絡首先要以一定的學習準則進行學習，然后才能工作。現以人工神經網絡對手寫“A”、“B”兩個字母的識別為例進行說明，規定當“A”輸入網絡時，應該輸出“1”，而當輸入為“B”時，輸出為“0”。
所以網絡學習的準則應該是：如果網絡作出錯誤的的判決，則通過網絡的學習，應使得網絡減少下次犯同樣錯誤的可能性。
首先，給網絡的各連接權值賦予(0，1)區間內的隨機值，將“A”所對應的圖象模式輸入給網絡，網絡將輸入模式加權求和、與門限比較、再進行非線性運算，得到網絡的輸出。
在此情況下，網絡輸出為“1”和“0”的概率各為50%，也就是說是完全隨機的。這時如果輸出為“1”(結果正確)，則使連接權值增大，以便使網絡再次遇到“A”模式輸入時，仍然能作出正確的判斷。
如果輸出為“0”(即結果錯誤)，則把網絡連接權值朝著減小綜合輸入加權值的方向調整，其目的在于使網絡下次再遇到“A”模式輸入時，減小犯同樣錯誤的可能性。
如此操作調整，當給網絡輪番輸入若干個手寫字母“A”、“B”后，經過網絡按以上學習方法進行若干次學習后，網絡判斷的正確率將大大提高。
這說明網絡對這兩個模式的學習已經獲得了成功，它已將這兩個模式分布地記憶在網絡的各個連接權值上。當網絡再次遇到其中任何一個模式時，能夠作出迅速、準確的判斷和識別。
一般說來，網絡中所含的神經元個數越多，則它能記憶、識別的模式也就越多。如圖所示拓撲結構的單隱層前饋網絡，一般稱為三層前饋網或三層感知器，即：輸入層、中間層（也稱隱層）和輸出層。
它的特點是：各層神經元僅與相鄰層神經元之間相互全連接，同層內神經元之間無連接，各層神經元之間無反饋連接，構成具有層次結構的前饋型神經網絡系統。
單計算層前饋神經網絡只能求解線性可分問題，能夠求解非線性問題的網絡必須是具有隱層的多層神經網絡。神經網絡的研究內容相當廣泛，反映了多學科交叉技術領域的特點。
主要的研究工作集中在以下幾個方面：（1）生物原型研究。從生理學、心理學、解剖學、腦科學、病理學等生物科學方面研究神經細胞、神經網絡、神經系統的生物原型結構及其功能機理。（2）建立理論模型。
根據生物原型的研究，建立神經元、神經網絡的理論模型。其中包括概念模型、知識模型、物理化學模型、數學模型等。（3）網絡模型與算法研究。
在理論模型研究的基礎上構作具體的神經網絡模型，以實現計算機模擬或準備制作硬件，包括網絡學習算法的研究。這方面的工作也稱為技術模型研究。（4）人工神經網絡應用系統。
在網絡模型與算法研究的基礎上，利用人工神經網絡組成實際的應用系統，例如，完成某種信號處理或模式識別的功能、構作專家系統、制成機器人等等。
縱觀當代新興科學技術的發展歷史，人類在征服宇宙空間、基本粒子，生命起源等科學技術領域的進程中歷經了崎嶇不平的道路。我們也會看到，探索人腦功能和神經網絡的研究將伴隨著重重困難的克服而日新月異。
神經網絡可以用作分類、聚類、預測等。神經網絡需要有一定量的歷史數據，通過歷史數據的訓練，網絡可以學習到數據中隱含的知識。
在你的問題中，首先要找到某些問題的一些特征，以及對應的評價數據，用這些數據來訓練神經網絡。雖然BP網絡得到了廣泛的應用，但自身也存在一些缺陷和不足，主要包括以下幾個方面的問題。
首先，由于學習速率是固定的，因此網絡的收斂速度慢，需要較長的訓練時間。
對于一些復雜問題，BP算法需要的訓練時間可能非常長，這主要是由于學習速率太小造成的，可采用變化的學習速率或自適應的學習速率加以改進。
其次，BP算法可以使權值收斂到某個值，但并不保證其為誤差平面的全局最小值，這是因為采用梯度下降法可能產生一個局部最小值。對于這個問題，可以采用附加動量法來解決。
再次，網絡隱含層的層數和單元數的選擇尚無理論上的指導，一般是根據經驗或者通過反復實驗確定。因此，網絡往往存在很大的冗余性，在一定程度上也增加了網絡學習的負擔。最后，網絡的學習和記憶具有不穩定性。
也就是說，如果增加了學習樣本，訓練好的網絡就需要從頭開始訓練，對于以前的權值和閾值是沒有記憶的。但是可以將預測、分類或聚類做的比較好的權值保存。
BP人工神經網絡
人工神經網絡（artificialneuralnetwork，ANN）指由大量與自然神經系統相類似的神經元聯結而成的網絡，是用工程技術手段模擬生物網絡結構特征和功能特征的一類人工系統。
神經網絡不但具有處理數值數據的一般計算能力，而且還具有處理知識的思維、學習、記憶能力，它采用類似于“黑箱”的方法，通過學習和記憶，找出輸入、輸出變量之間的非線性關系（映射），在執行問題和求解時，將所獲取的數據輸入到已經訓練好的網絡，依據網絡學到的知識進行網絡推理，得出合理的答案與結果。
巖土工程中的許多問題是非線性問題，變量之間的關系十分復雜，很難用確切的數學、力學模型來描述。
工程現場實測數據的代表性與測點的位置、范圍和手段有關，有時很難滿足傳統統計方法所要求的統計條件和規律，加之巖土工程信息的復雜性和不確定性，因而運用神經網絡方法實現巖土工程問題的求解是合適的。
BP神經網絡模型是誤差反向傳播（BackPagation）網絡模型的簡稱。它由輸入層、隱含層和輸出層組成。
網絡的學習過程就是對網絡各層節點間連接權逐步修改的過程，這一過程由兩部分組成：正向傳播和反向傳播。
正向傳播是輸入模式從輸入層經隱含層處理傳向輸出層；反向傳播是均方誤差信息從輸出層向輸入層傳播，將誤差信號沿原來的連接通路返回，通過修改各層神經元的權值，使得誤差信號最小。
BP神經網絡模型在建立及應用過程中，主要存在的不足和建議有以下四個方面：（1）對于神經網絡，數據愈多，網絡的訓練效果愈佳，也更能反映實際。
但在實際操作中，由于條件的限制很難選取大量的樣本值進行訓練，樣本數量偏少。（2）BP網絡模型其計算速度較慢、無法表達預測量與其相關參數之間親疏關系。
（3）以定量數據為基礎建立模型，若能收集到充分資料，以定性指標（如基坑降水方式、基坑支護模式、施工工況等）和一些易獲取的定量指標作為輸入層，以評價等級作為輸出層，這樣建立的BP網絡模型將更準確全面。
（4）BP人工神經網絡系統具有非線性、智能的特點。
較好地考慮了定性描述和定量計算、精確邏輯分析和非確定性推理等方面，但由于樣本不同，影響要素的權重不同，以及在根據先驗知識和前人的經驗總結對定性參數進行量化處理，必然會影響評價的客觀性和準確性。
因此，在實際評價中只有根據不同的基坑施工工況、不同的周邊環境條件，應不同用戶的需求，選擇不同的分析指標，才能滿足復雜工況條件下地質環境評價的要求，取得較好的應用效果。
神經網絡輸出層采用非線性函數和線性函數，有區別嘛？
BP神經網絡方法
。
人工神經網絡是近幾年來發展起來的新興學科，它是一種大規模并行分布處理的非線性系統，適用解決難以用數學模型描述的系統，逼近任何非線性的特性，具有很強的自適應、自學習、聯想記憶、高度容錯和并行處理能力，使得神經網絡理論的應用已經滲透到了各個領域。
近年來，人工神經網絡在水質分析和評價中的應用越來越廣泛，并取得良好效果。在這些應用中，縱觀應用于模式識別的神經網絡，BP網絡是最有效、最活躍的方法之一。
BP網絡是多層前向網絡的權值學習采用誤差逆傳播學習的一種算法（ErrorBackPropagation，簡稱BP）。在具體應用該網絡時分為網絡訓練及網絡工作兩個階段。
在網絡訓練階段，根據給定的訓練模式，按照“模式的順傳播”→“誤差逆傳播”→“記憶訓練”→“學習收斂”4個過程進行網絡權值的訓練。
在網絡的工作階段，根據訓練好的網絡權值及給定的輸入向量，按照“模式順傳播”方式求得與輸入向量相對應的輸出向量的解答（閻平凡，2000）。
BP算法是一種比較成熟的有指導的訓練方法，是一個單向傳播的多層前饋網絡。它包含輸入層、隱含層、輸出層，如圖4-4所示。
圖4-4地下水質量評價的BP神經網絡模型圖4-4給出了4層地下水水質評價的BP神經網絡模型。同層節點之間不連接。
輸入信號從輸入層節點，依次傳過各隱含層節點，然后傳到輸出層節點，如果在輸出層得不到期望輸出，則轉入反向傳播，將誤差信號沿原來通路返回，通過學習來修改各層神經元的權值，使誤差信號最小。
每一層節點的輸出只影響下一層節點的輸入。
每個節點都對應著一個作用函數（f）和閾值（a），BP網絡的基本處理單元量為非線性輸入-輸出的關系，輸入層節點閾值為0，且f（x）=x；而隱含層和輸出層的作用函數為非線性的Sigmoid型（它是連續可微的）函數，其表達式為f（x）=1/（1+e-x）（4-55）設有L個學習樣本（Xk，Ok）（k=1，2，…，l），其中Xk為輸入，Ok為期望輸出，Xk經網絡傳播后得到的實際輸出為Yk，則Yk與要求的期望輸出Ok之間的均方誤差為區域地下水功能可持續性評價理論與方法研究式中：M為輸出層單元數；Yk，p為第k樣本對第p特性分量的實際輸出；Ok，p為第k樣本對第p特性分量的期望輸出。
樣本的總誤差為區域地下水功能可持續性評價理論與方法研究由梯度下降法修改網絡的權值，使得E取得最小值，學習樣本對Wij的修正為區域地下水功能可持續性評價理論與方法研究式中：η為學習速率，可取0到1間的數值。
所有學習樣本對權值Wij的修正為區域地下水功能可持續性評價理論與方法研究通常為增加學習過程的穩定性，用下式對Wij再進行修正：區域地下水功能可持續性評價理論與方法研究式中：β為充量常量；Wij（t）為BP網絡第t次迭代循環訓練后的連接權值；Wij（t-1）為BP網絡第t-1次迭代循環訓練后的連接權值。
在BP網絡學習的過程中，先調整輸出層與隱含層之間的連接權值，然后調整中間隱含層間的連接權值，最后調整隱含層與輸入層之間的連接權值。實現BP網絡訓練學習程序流程，如圖4-5所示（倪深海等，2000）。
圖4-5BP神經網絡模型程序框圖若將水質評價中的評價標準作為樣本輸入，評價級別作為網絡輸出，BP網絡通過不斷學習，歸納出評價標準與評價級別間復雜的內在對應關系，即可進行水質綜合評價。
BP網絡對地下水質量綜合評價，其評價方法不需要過多的數理統計知識，也不需要對水質量監測數據進行復雜的預處理，操作簡便易行，評價結果切合實際。
由于人工神經網絡方法具有高度民主的非線性函數映射功能，使得地下水水質評價結果較準確（袁曾任，1999）。
BP網絡可以任意逼近任何連續函數，但是它主要存在如下缺點：①從數學上看，它可歸結為一非線性的梯度優化問題，因此不可避免地存在局部極小問題；②學習算法的收斂速度慢，通常需要上千次或更多。
神經網絡具有學習、聯想和容錯功能，是地下水水質評價工作方法的改進，如何在現行的神經網絡中進一步吸取模糊和灰色理論的某些優點，建立更適合水質評價的神經網絡模型，使該模型既具有方法的先進性又具有現實的可行性，將是我們今后研究和探討的問題。
bp神經網絡為什么要采用非線性函數來進行預測？
提問：bp神經網絡為什么要采用非線性函數來進行預測？回答：簡單的講，主要是復雜的bp神經網絡的行為動態及神經元之間的相互作用是無法用簡單的線性函數來描述的！
一般來講，用數學函數模擬一個系統輸入與輸出的關系（系統函數）時，設其函數為f(x),則它可以表征為一個輸入變量x的多項式，即f(x)=∑an*x^n∣n=0->∞.;當n≥2時，f(x)就成為非線性函數了。
an是每個x高次項的系數。可以用具體的實際實驗數據來確定。
神經網絡的激活函數都采用非線性函數，如閾值型或S型，為何不采用線性激活函數？
神經網絡非線性回歸怎么做
給你一個例子來說明如何用神經網絡非線性回歸。
如，用神經網絡擬合函數?y=0.12*exp(-0.23*x)+0.54*exp(-0.17*x)*sin(1.23*x)執行代碼如下：圖1為未經過訓練的曲線；圖2為經過訓練后的曲線仿真誤差：MSE=?9.5322e-07。
什么是“小波神經網絡”？能干什么用呀
小波神經網絡（Wavelet?Neural?Network，?WNN）是在小波分析研究獲得突破的基礎上提出的一種人工神經網絡。
它是基于小波分析理論以及小波變換所構造的一種分層的、多分辨率的新型人工神經網絡模型。?即用非線性小波基取代了通常的非線性Sigmoid?函數，其信號表述是通過將所選取的小波基進行線性疊加來表現的。
它避免了BP?神經網絡結構設計的盲目性和局部最優等非線性優化問題，大大簡化了訓練，具有較強的函數學習能力和推廣能力及廣闊的應用前景。
“小波神經網絡”的應用：1、在影像處理方面，可以用于影像壓縮、分類、識別與診斷，去污等。在醫學成像方面的減少B超、CT、核磁共振成像的時間，提高解析度等。2、在信號分析中的應用也十分廣泛。
它可以用于邊界的處理與濾波、時頻分析、信噪分離與提取弱信號、求分形指數、信號的識別與診斷以及多尺度邊緣偵測等。3、在工程技術等方面的應用。
包括電腦視覺、電腦圖形學、曲線設計、湍流、遠端宇宙的研究與生物醫學方面。擴展資料：小波神經網絡這方面的早期工作大約開始于1992?年，主要研究者是Zhang?Q、Harold?H?S?和焦李成等。
其中，焦李成在其代表作《神經網絡的應用與實現》中從理論上對小波神經網絡進行了較為詳細的論述。近年來，人們在小波神經網絡的理論和應用方面都開展了不少研究工作。
小波神經網絡具有以下特點：首先，小波基元及整個網絡結構的確定有可靠的理論根據，可避免BP?神經網絡等結構設計上的盲目性；其次，網絡權系數線性分布和學習目標函數的凸性，使網絡訓練過程從根本上避免了局部最優等非線性優化問題；第三，有較強的函數學習能力和推廣能力。
?
總結
以上是生活随笔為你收集整理的非线性系统的理论和方法,神经网络的非线性的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 类和继承
- 下一篇： 现代控制理论——非线性系统的lyapun