本文主要對(duì)人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)進(jìn)行了描述，主要包括人工神經(jīng)網(wǎng)絡(luò)的概念、發(fā)展、特點(diǎn)、結(jié)構(gòu)、模型。

本文是個(gè)科普文，來(lái)自網(wǎng)絡(luò)資料的整理。

一、人工神經(jīng)網(wǎng)絡(luò)的概念

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）簡(jiǎn)稱神經(jīng)網(wǎng)絡(luò)(NN)，是基于生物學(xué)中神經(jīng)網(wǎng)絡(luò)的基本原理，在理解和抽象了人腦結(jié)構(gòu)和外界刺激響應(yīng)機(jī)制后，以網(wǎng)絡(luò)拓?fù)渲R(shí)為理論基礎(chǔ)，模擬人腦的神經(jīng)系統(tǒng)對(duì)復(fù)雜信息的處理機(jī)制的一種數(shù)學(xué)模型。該模型以并行分布的處理能力、高容錯(cuò)性、智能化和自學(xué)習(xí)等能力為特征，將信息的加工和存儲(chǔ)結(jié)合在一起，以其獨(dú)特的知識(shí)表示方式和智能化的自適應(yīng)學(xué)習(xí)能力，引起各學(xué)科領(lǐng)域的關(guān)注。它實(shí)際上是一個(gè)有大量簡(jiǎn)單元件相互連接而成的復(fù)雜網(wǎng)絡(luò)，具有高度的非線性，能夠進(jìn)行復(fù)雜的邏輯操作和非線性關(guān)系實(shí)現(xiàn)的系統(tǒng)。

神經(jīng)網(wǎng)絡(luò)是一種運(yùn)算模型，由大量的節(jié)點(diǎn)（或稱神經(jīng)元）之間相互聯(lián)接構(gòu)成。每個(gè)節(jié)點(diǎn)代表一種特定的輸出函數(shù)，稱為激活函數(shù)（activation function）。每?jī)蓚€(gè)節(jié)點(diǎn)間的連接都代表一個(gè)對(duì)于通過(guò)該連接信號(hào)的加權(quán)值，稱之為權(quán)重（weight），神經(jīng)網(wǎng)絡(luò)就是通過(guò)這種方式來(lái)模擬人類的記憶。網(wǎng)絡(luò)的輸出則取決于網(wǎng)絡(luò)的結(jié)構(gòu)、網(wǎng)絡(luò)的連接方式、權(quán)重和激活函數(shù)。而網(wǎng)絡(luò)自身通常都是對(duì)自然界某種算法或者函數(shù)的逼近，也可能是對(duì)一種邏輯策略的表達(dá)。神經(jīng)網(wǎng)絡(luò)的構(gòu)筑理念是受到生物的神經(jīng)網(wǎng)絡(luò)運(yùn)作啟發(fā)而產(chǎn)生的。人工神經(jīng)網(wǎng)絡(luò)則是把對(duì)生物神經(jīng)網(wǎng)絡(luò)的認(rèn)識(shí)與數(shù)學(xué)統(tǒng)計(jì)模型相結(jié)合，借助數(shù)學(xué)統(tǒng)計(jì)工具來(lái)實(shí)現(xiàn)。另一方面在人工智能學(xué)的人工感知領(lǐng)域，我們通過(guò)數(shù)學(xué)統(tǒng)計(jì)學(xué)的方法，使神經(jīng)網(wǎng)絡(luò)能夠具備類似于人的決定能力和簡(jiǎn)單的判斷能力，這種方法是對(duì)傳統(tǒng)邏輯學(xué)演算的進(jìn)一步延伸。

人工神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元處理單元可表示不同的對(duì)象，例如特征、字母、概念，或者一些有意義的抽象模式。網(wǎng)絡(luò)中處理單元的類型分為三類：輸入單元、輸出單元和隱單元。輸入單元接受外部世界的信號(hào)與數(shù)據(jù)；輸出單元實(shí)現(xiàn)系統(tǒng)處理結(jié)果的輸出；隱單元是處在輸入和輸出單元之間，不能由系統(tǒng)外部觀察的單元。神經(jīng)元間的連接權(quán)值反映了單元間的連接強(qiáng)度，信息的表示和處理體現(xiàn)在網(wǎng)絡(luò)處理單元的連接關(guān)系中。人工神經(jīng)網(wǎng)絡(luò)是一種非程序化、適應(yīng)性、大腦風(fēng)格的信息處理，其本質(zhì)是通過(guò)網(wǎng)絡(luò)的變換和動(dòng)力學(xué)行為得到一種并行分布式的信息處理功能，并在不同程度和層次上模仿人腦神經(jīng)系統(tǒng)的信息處理功能。

神經(jīng)網(wǎng)絡(luò)，是一種應(yīng)用類似于大腦神經(jīng)突觸連接結(jié)構(gòu)進(jìn)行信息處理的數(shù)學(xué)模型，它是在人類對(duì)自身大腦組織結(jié)合和思維機(jī)制的認(rèn)識(shí)理解基礎(chǔ)之上模擬出來(lái)的，它是根植于神經(jīng)科學(xué)、數(shù)學(xué)、思維科學(xué)、人工智能、統(tǒng)計(jì)學(xué)、物理學(xué)、計(jì)算機(jī)科學(xué)以及工程科學(xué)的一門技術(shù)。

二、人工神經(jīng)網(wǎng)絡(luò)的發(fā)展

神經(jīng)網(wǎng)絡(luò)的發(fā)展有悠久的歷史。其發(fā)展過(guò)程大致可以概括為如下4個(gè)階段。

1.第一階段—-啟蒙時(shí)期

(1). M-P神經(jīng)網(wǎng)絡(luò)模型：20世紀(jì)40年代，人們就開始了對(duì)神經(jīng)網(wǎng)絡(luò)的研究。1943 年，美國(guó)心理學(xué)家麥克洛奇（Mcculloch）和數(shù)學(xué)家皮茲（Pitts）提出了M-P模型，此模型比較簡(jiǎn)單，但是意義重大。在模型中，通過(guò)把神經(jīng)元看作個(gè)功能邏輯器件來(lái)實(shí)現(xiàn)算法，從此開創(chuàng)了神經(jīng)網(wǎng)絡(luò)模型的理論研究。

(2). Hebb規(guī)則：1949 年，心理學(xué)家赫布（Hebb）出版了《The Organization of Behavior》（行為組織學(xué)），他在書中提出了突觸連接強(qiáng)度可變的假設(shè)。這個(gè)假設(shè)認(rèn)為學(xué)習(xí)過(guò)程最終發(fā)生在神經(jīng)元之間的突觸部位，突觸的連接強(qiáng)度隨之突觸前后神經(jīng)元的活動(dòng)而變化。這一假設(shè)發(fā)展成為后來(lái)神經(jīng)網(wǎng)絡(luò)中非常著名的Hebb規(guī)則。這一法則告訴人們，神經(jīng)元之間突觸的聯(lián)系強(qiáng)度是可變的，這種可變性是學(xué)習(xí)和記憶的基礎(chǔ)。Hebb法則為構(gòu)造有學(xué)習(xí)功能的神經(jīng)網(wǎng)絡(luò)模型奠定了基礎(chǔ)。

(3). 感知器模型：1957 年，羅森勃拉特（Rosenblatt）以M-P 模型為基礎(chǔ)，提出了感知器（Perceptron）模型。感知器模型具有現(xiàn)代神經(jīng)網(wǎng)絡(luò)的基本原則，并且它的結(jié)構(gòu)非常符合神經(jīng)生理學(xué)。這是一個(gè)具有連續(xù)可調(diào)權(quán)值矢量的MP神經(jīng)網(wǎng)絡(luò)模型，經(jīng)過(guò)訓(xùn)練可以達(dá)到對(duì)一定的輸入矢量模式進(jìn)行分類和識(shí)別的目的，它雖然比較簡(jiǎn)單，卻是第一個(gè)真正意義上的神經(jīng)網(wǎng)絡(luò)。Rosenblatt 證明了兩層感知器能夠?qū)斎脒M(jìn)行分類，他還提出了帶隱層處理元件的三層感知器這一重要的研究方向。Rosenblatt 的神經(jīng)網(wǎng)絡(luò)模型包含了一些現(xiàn)代神經(jīng)計(jì)算機(jī)的基本原理，從而形成神經(jīng)網(wǎng)絡(luò)方法和技術(shù)的重大突破。

(4). ADALINE網(wǎng)絡(luò)模型： 1959年，美國(guó)著名工程師威德羅（B.Widrow）和霍夫（M.Hoff）等人提出了自適應(yīng)線性元件(Adaptive linear element，簡(jiǎn)稱Adaline)和Widrow-Hoff學(xué)習(xí)規(guī)則（又稱最小均方差算法或稱δ規(guī)則）的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，并將其應(yīng)用于實(shí)際工程，成為第一個(gè)用于解決實(shí)際問(wèn)題的人工神經(jīng)網(wǎng)絡(luò)，促進(jìn)了神經(jīng)網(wǎng)絡(luò)的研究應(yīng)用和發(fā)展。ADALINE網(wǎng)絡(luò)模型是一種連續(xù)取值的自適應(yīng)線性神經(jīng)元網(wǎng)絡(luò)模型，可以用于自適應(yīng)系統(tǒng)。

2.第二階段—-低潮時(shí)期

人工智能的創(chuàng)始人之一Minsky和Papert對(duì)以感知器為代表的網(wǎng)絡(luò)系統(tǒng)的功能及局限性從數(shù)學(xué)上做了深入研究，于1969年發(fā)表了轟動(dòng)一時(shí)《Perceptrons》一書，指出簡(jiǎn)單的線性感知器的功能是有限的，它無(wú)法解決線性不可分的兩類樣本的分類問(wèn)題，如簡(jiǎn)單的線性感知器不可能實(shí)現(xiàn)“異或”的邏輯關(guān)系等。這一論斷給當(dāng)時(shí)人工神經(jīng)元網(wǎng)絡(luò)的研究帶來(lái)沉重的打擊。開始了神經(jīng)網(wǎng)絡(luò)發(fā)展史上長(zhǎng)達(dá)10年的低潮期。

(1). 自組織神經(jīng)網(wǎng)絡(luò)SOM模型：1972年，芬蘭的KohonenT.教授，提出了自組織神經(jīng)網(wǎng)絡(luò)SOM(Self-Organizing feature map)。后來(lái)的神經(jīng)網(wǎng)絡(luò)主要是根據(jù)KohonenT.的工作來(lái)實(shí)現(xiàn)的。SOM網(wǎng)絡(luò)是一類無(wú)導(dǎo)師學(xué)習(xí)網(wǎng)絡(luò)，主要用于模式識(shí)別﹑語(yǔ)音識(shí)別及分類問(wèn)題。它采用一種“勝者為王”的競(jìng)爭(zhēng)學(xué)習(xí)算法，與先前提出的感知器有很大的不同，同時(shí)它的學(xué)習(xí)訓(xùn)練方式是無(wú)指導(dǎo)訓(xùn)練，是一種自組織網(wǎng)絡(luò)。這種學(xué)習(xí)訓(xùn)練方式往往是在不知道有哪些分類類型存在時(shí)，用作提取分類信息的一種訓(xùn)練。

(2). 自適應(yīng)共振理論ART：1976年，美國(guó)Grossberg教授提出了著名的自適應(yīng)共振理論ART(Adaptive Resonance Theory)，其學(xué)習(xí)過(guò)程具有自組織和自穩(wěn)定的特征。

3.第三階段—-復(fù)興時(shí)期

(1). Hopfield模型：1982年，美國(guó)物理學(xué)家霍普菲爾德（Hopfield）提出了一種離散神經(jīng)網(wǎng)絡(luò)，即離散Hopfield網(wǎng)絡(luò)，從而有力地推動(dòng)了神經(jīng)網(wǎng)絡(luò)的研究。在網(wǎng)絡(luò)中，它首次將李雅普諾夫（Lyapunov）函數(shù)引入其中，后來(lái)的研究學(xué)者也將Lyapunov函數(shù)稱為能量函數(shù)。證明了網(wǎng)絡(luò)的穩(wěn)定性。1984年，Hopfield 又提出了一種連續(xù)神經(jīng)網(wǎng)絡(luò)，將網(wǎng)絡(luò)中神經(jīng)元的激活函數(shù)由離散型改為連續(xù)型。1985 年，Hopfield和Tank利用Hopfield神經(jīng)網(wǎng)絡(luò)解決了著名的旅行推銷商問(wèn)題（Travelling Salesman Problem）。Hopfield神經(jīng)網(wǎng)絡(luò)是一組非線性微分方程。Hopfield的模型不僅對(duì)人工神經(jīng)網(wǎng)絡(luò)信息存儲(chǔ)和提取功能進(jìn)行了非線性數(shù)學(xué)概括，提出了動(dòng)力方程和學(xué)習(xí)方程，還對(duì)網(wǎng)絡(luò)算法提供了重要公式和參數(shù)，使人工神經(jīng)網(wǎng)絡(luò)的構(gòu)造和學(xué)習(xí)有了理論指導(dǎo)，在Hopfield模型的影響下，大量學(xué)者又激發(fā)起研究神經(jīng)網(wǎng)絡(luò)的熱情，積極投身于這一學(xué)術(shù)領(lǐng)域中。因?yàn)镠opfield 神經(jīng)網(wǎng)絡(luò)在眾多方面具有巨大潛力，所以人們對(duì)神經(jīng)網(wǎng)絡(luò)的研究十分地重視，更多的人開始了研究神經(jīng)網(wǎng)絡(luò)，極大地推動(dòng)了神經(jīng)網(wǎng)絡(luò)的發(fā)展。

(2). Boltzmann機(jī)模型：1983年，Kirkpatrick等人認(rèn)識(shí)到模擬退火算法可用于NP完全組合優(yōu)化問(wèn)題的求解，這種模擬高溫物體退火過(guò)程來(lái)找尋全局最優(yōu)解的方法最早由Metropli等人1953年提出的。1984年，Hinton與年輕學(xué)者Sejnowski等合作提出了大規(guī)模并行網(wǎng)絡(luò)學(xué)習(xí)機(jī)，并明確提出隱單元的概念，這種學(xué)習(xí)機(jī)后來(lái)被稱為Boltzmann機(jī)。

Hinton和Sejnowsky利用統(tǒng)計(jì)物理學(xué)的感念和方法，首次提出的多層網(wǎng)絡(luò)的學(xué)習(xí)算法，稱為Boltzmann 機(jī)模型。

(3). BP神經(jīng)網(wǎng)絡(luò)模型：1986年，儒默哈特（D.E.Ru melhart）等人在多層神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上，提出了多層神經(jīng)網(wǎng)絡(luò)權(quán)值修正的反向傳播學(xué)習(xí)算法—-BP算法（Error Back-Propagation），解決了多層前向神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)問(wèn)題，證明了多層神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的學(xué)習(xí)能力，它可以完成許多學(xué)習(xí)任務(wù)，解決許多實(shí)際問(wèn)題。

(4). 并行分布處理理論：1986年，由Rumelhart和McCkekkand主編的《Parallel Distributed Processing：Exploration in the Microstructures of Cognition》，該書中，他們建立了并行分布處理理論，主要致力于認(rèn)知的微觀研究，同時(shí)對(duì)具有非線性連續(xù)轉(zhuǎn)移函數(shù)的多層前饋網(wǎng)絡(luò)的誤差反向傳播算法即BP算法進(jìn)行了詳盡的分析，解決了長(zhǎng)期以來(lái)沒(méi)有權(quán)值調(diào)整有效算法的難題。可以求解感知機(jī)所不能解決的問(wèn)題，回答了《Perceptrons》一書中關(guān)于神經(jīng)網(wǎng)絡(luò)局限性的問(wèn)題，從實(shí)踐上證實(shí)了人工神經(jīng)網(wǎng)絡(luò)有很強(qiáng)的運(yùn)算能力。

(5). 細(xì)胞神經(jīng)網(wǎng)絡(luò)模型：1988年，Chua和Yang提出了細(xì)胞神經(jīng)網(wǎng)絡(luò)（CNN）模型，它是一個(gè)細(xì)胞自動(dòng)機(jī)特性的大規(guī)模非線性計(jì)算機(jī)仿真系統(tǒng)。Kosko建立了雙向聯(lián)想存儲(chǔ)模型（BAM），它具有非監(jiān)督學(xué)習(xí)能力。

(6). Darwinism模型：Edelman提出的Darwinism模型在90年代初產(chǎn)生了很大的影響，他建立了一種神經(jīng)網(wǎng)絡(luò)系統(tǒng)理論。

(7). 1988年，Linsker對(duì)感知機(jī)網(wǎng)絡(luò)提出了新的自組織理論，并在Shanon信息論的基礎(chǔ)上形成了最大互信息理論，從而點(diǎn)燃了基于NN的信息應(yīng)用理論的光芒。

(8). 1988年，Broomhead和Lowe用徑向基函數(shù)(Radialbasis function, RBF)提出分層網(wǎng)絡(luò)的設(shè)計(jì)方法，從而將NN的設(shè)計(jì)與數(shù)值分析和線性適應(yīng)濾波相掛鉤。

(9). 1991年，Haken把協(xié)同引入神經(jīng)網(wǎng)絡(luò)，在他的理論框架中，他認(rèn)為，認(rèn)知過(guò)程是自發(fā)的，并斷言模式識(shí)別過(guò)程即是模式形成過(guò)程。

(10). 1994年，廖曉昕關(guān)于細(xì)胞神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)理論與基礎(chǔ)的提出，帶來(lái)了這個(gè)領(lǐng)域新的進(jìn)展。通過(guò)拓廣神經(jīng)網(wǎng)絡(luò)的激活函數(shù)類，給出了更一般的時(shí)滯細(xì)胞神經(jīng)網(wǎng)絡(luò)(DCNN)、Hopfield神經(jīng)網(wǎng)絡(luò)（HNN）、雙向聯(lián)想記憶網(wǎng)絡(luò)（BAM）模型。

(11). 90年代初，Vapnik等提出了支持向量機(jī)(Supportvector machines, SVM)和VC(Vapnik-Chervonenkis)維數(shù)的概念。

經(jīng)過(guò)多年的發(fā)展，已有上百種的神經(jīng)網(wǎng)絡(luò)模型被提出。

4.第四階段—-高潮時(shí)期[注：自己分的，不準(zhǔn)確 ^_^

深度學(xué)習(xí)(Deep Learning,DL)由Hinton等人于2006年提出，是機(jī)器學(xué)習(xí)(Machine Learning, ML)的一個(gè)新領(lǐng)域。深度學(xué)習(xí)本質(zhì)上是構(gòu)建含有多隱層的機(jī)器學(xué)習(xí)架構(gòu)模型，通過(guò)大規(guī)模數(shù)據(jù)進(jìn)行訓(xùn)練，得到大量更具代表性的特征信息。深度學(xué)習(xí)算法打破了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)對(duì)層數(shù)的限制，可根據(jù)設(shè)計(jì)者需要選擇網(wǎng)絡(luò)層數(shù)。

關(guān)于深度學(xué)習(xí)的文章可以參考：深度學(xué)習(xí)概述_網(wǎng)絡(luò)資源是無(wú)限的-CSDN博客_深度學(xué)習(xí)概述

三、人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)

神經(jīng)網(wǎng)絡(luò)是由存儲(chǔ)在網(wǎng)絡(luò)內(nèi)部的大量神經(jīng)元通過(guò)節(jié)點(diǎn)連接權(quán)組成的一種信息響應(yīng)網(wǎng)狀拓?fù)浣Y(jié)構(gòu)，它采用了并行分布式的信號(hào)處理機(jī)制，因而具有較快的處理速度和較強(qiáng)的容錯(cuò)能力。

1. 神經(jīng)網(wǎng)絡(luò)模型用于模擬人腦神經(jīng)元的活動(dòng)過(guò)程，其中包括對(duì)信息的加工、處理、存儲(chǔ)、和搜索等過(guò)程。人工神經(jīng)網(wǎng)絡(luò)具有如下基本特點(diǎn)：

(1). 高度的并行性：人工神經(jīng)網(wǎng)絡(luò)有許多相同的簡(jiǎn)單處理單元并聯(lián)組合而成，雖然每一個(gè)神經(jīng)元的功能簡(jiǎn)單，但大量簡(jiǎn)單神經(jīng)元并行處理能力和效果，卻十分驚人。人工神經(jīng)網(wǎng)絡(luò)和人類的大腦類似，不但結(jié)構(gòu)上是并行的，它的處理順序也是并行和同時(shí)的。在同一層內(nèi)的處理單元都是同時(shí)操作的，即神經(jīng)網(wǎng)絡(luò)的計(jì)算功能分布在多個(gè)處理單元上，而一般計(jì)算機(jī)通常有一個(gè)處理單元，其處理順序是串行的。

人腦神經(jīng)元之間傳遞脈沖信號(hào)的速度遠(yuǎn)低于馮·諾依曼計(jì)算機(jī)的工作速度，前者為毫秒量級(jí)，后者的時(shí)鐘頻率通?？蛇_(dá)108Hz 或更高的速率。但是，由于人腦是一個(gè)大規(guī)模并行與串行組合處理系統(tǒng)，因而在許多問(wèn)題上可以做出快速判斷、決策和處理，其速度可以遠(yuǎn)高于串行結(jié)構(gòu)的馮·諾依曼計(jì)算機(jī)。人工神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)模仿人腦，具有并行處理的特征，可以大大提高工作速度。

(2). 高度的非線性全局作用：人工神經(jīng)網(wǎng)絡(luò)每個(gè)神經(jīng)元接受大量其他神經(jīng)元的輸入，并通過(guò)并行網(wǎng)絡(luò)產(chǎn)生輸出，影響其他神經(jīng)元，網(wǎng)絡(luò)之間的這種互相制約和互相影響，實(shí)現(xiàn)了從輸入狀態(tài)到輸出狀態(tài)空間的非線性映射，從全局的觀點(diǎn)來(lái)看，網(wǎng)絡(luò)整體性能不是網(wǎng)絡(luò)局部性能的疊加，而表現(xiàn)出某種集體性的行為。

非線性關(guān)系是自然界的普遍特性。大腦的智慧就是一種非線性現(xiàn)象。人工神經(jīng)元處于激活或抑制二種不同的狀態(tài)，這種行為在數(shù)學(xué)上表現(xiàn)為一種非線性人工神經(jīng)網(wǎng)絡(luò)。具有閾值的神經(jīng)元構(gòu)成的網(wǎng)絡(luò)具有更好的性能，可以提高容錯(cuò)性和存儲(chǔ)容量。

(3). 聯(lián)想記憶功能和良好的容錯(cuò)性：人工神經(jīng)網(wǎng)絡(luò)通過(guò)自身的特有網(wǎng)絡(luò)結(jié)構(gòu)將處理的數(shù)據(jù)信息存儲(chǔ)在神經(jīng)元之間的權(quán)值中，具有聯(lián)想記憶功能，從單一的某個(gè)權(quán)值并看不出其所記憶的信息內(nèi)容，因而是分布式的存儲(chǔ)形式，這就使得網(wǎng)絡(luò)有很好的容錯(cuò)性，并可以進(jìn)行特征提取、缺損模式復(fù)原、聚類分析等模式信息處理工作，又可以作模式聯(lián)想、分類、識(shí)別工作。它可以從不完善的數(shù)據(jù)和圖形中進(jìn)行學(xué)習(xí)并做出決定。由于知識(shí)存在于整個(gè)系統(tǒng)中，而不只是一個(gè)存儲(chǔ)單元中，預(yù)訂比例的結(jié)點(diǎn)不參與運(yùn)算，對(duì)整個(gè)系統(tǒng)的性能不會(huì)產(chǎn)生重大的影響。能夠處理那些有噪聲或不完全的數(shù)據(jù)，具有泛化功能和很強(qiáng)的容錯(cuò)能力。

一個(gè)神經(jīng)網(wǎng)絡(luò)通常由多個(gè)神經(jīng)元廣泛連接而成。一個(gè)系統(tǒng)的整體行為不僅取決于單個(gè)神經(jīng)元的特征，而且可能主要由單元之間的相互作用、相互連接所決定。通過(guò)單元之間的大量連接模擬大腦的非局限性。聯(lián)想記憶是非局限性的典型例子。

(4). 良好的自適應(yīng)、自學(xué)習(xí)功能：人工神經(jīng)網(wǎng)絡(luò)通過(guò)學(xué)習(xí)訓(xùn)練獲得網(wǎng)絡(luò)的權(quán)值與結(jié)構(gòu)，呈現(xiàn)出很強(qiáng)的自學(xué)習(xí)能力和對(duì)環(huán)境的自適應(yīng)能力。神經(jīng)網(wǎng)絡(luò)所具有的自學(xué)習(xí)過(guò)程模擬了人的形象思維方法，這是與傳統(tǒng)符號(hào)邏輯完全不同的一種非邏輯非語(yǔ)言。自適應(yīng)性根據(jù)所提供的數(shù)據(jù)，通過(guò)學(xué)習(xí)和訓(xùn)練，找出輸入和輸出之間的內(nèi)在關(guān)系，從而求取問(wèn)題的解，而不是依據(jù)對(duì)問(wèn)題的經(jīng)驗(yàn)知識(shí)和規(guī)則，因而具有自適應(yīng)功能，這對(duì)于弱化權(quán)重確定人為因素是十分有益的。

(5). 知識(shí)的分布存儲(chǔ)：在神經(jīng)網(wǎng)絡(luò)中，知識(shí)不是存儲(chǔ)在特定的存儲(chǔ)單元中，而是分布在整個(gè)系統(tǒng)中，要存儲(chǔ)多個(gè)知識(shí)就需要很多鏈接。在計(jì)算機(jī)中，只要給定一個(gè)地址就可得到一個(gè)或一組數(shù)據(jù)。在神經(jīng)網(wǎng)絡(luò)中要獲得存儲(chǔ)的知識(shí)則采用“聯(lián)想”的辦法，這類似人類和動(dòng)物的聯(lián)想記憶。人類善于根據(jù)聯(lián)想正確識(shí)別圖形，人工神經(jīng)網(wǎng)絡(luò)也是這樣。神經(jīng)網(wǎng)絡(luò)采用分布式存儲(chǔ)方式表示知識(shí)，通過(guò)網(wǎng)絡(luò)對(duì)輸入信息的響應(yīng)將激活信號(hào)分布在網(wǎng)絡(luò)神經(jīng)元上，通過(guò)網(wǎng)絡(luò)訓(xùn)練和學(xué)習(xí)使得特征被準(zhǔn)確地記憶在網(wǎng)絡(luò)的連接權(quán)值上，當(dāng)同樣的模式再次輸入時(shí)網(wǎng)絡(luò)就可以進(jìn)行快速判斷。

(6). 非凸性：一個(gè)系統(tǒng)的演化方向，在一定條件下將取決于某個(gè)特定的狀態(tài)函數(shù)。例如能量函數(shù)，它的極值相應(yīng)于系統(tǒng)比較穩(wěn)定的狀態(tài)。非凸性是指這種函數(shù)有多個(gè)極值，故系統(tǒng)具有多個(gè)較穩(wěn)定的平衡態(tài)，這將導(dǎo)致系統(tǒng)演化的多樣性。

正是神經(jīng)網(wǎng)絡(luò)所具有的這種學(xué)習(xí)和適應(yīng)能力、自組織、非線性和運(yùn)算高度并行的能力，解決了傳統(tǒng)人工智能對(duì)于直覺(jué)處理方面的缺陷，例如對(duì)非結(jié)構(gòu)化信息、語(yǔ)音模式識(shí)別等的處理，使之成功應(yīng)用于神經(jīng)專家系統(tǒng)、組合優(yōu)化、智能控制、預(yù)測(cè)、模式識(shí)別等領(lǐng)域。

2. 人工神經(jīng)網(wǎng)絡(luò)是一種旨在模仿人腦結(jié)構(gòu)及其功能的信息處理系統(tǒng)。因此，它在功能上具有某些智能特點(diǎn)：

(1). 聯(lián)想記憶功能：由于神經(jīng)網(wǎng)絡(luò)具有分布存儲(chǔ)信息和并行計(jì)算的性能，因此它具有對(duì)外界刺激和輸入信息進(jìn)行聯(lián)想記憶的能力。這種能力是通過(guò)神經(jīng)元之間的協(xié)同結(jié)構(gòu)及信息處理的集體行為而實(shí)現(xiàn)的。神經(jīng)網(wǎng)絡(luò)通過(guò)預(yù)先存儲(chǔ)信息和學(xué)習(xí)機(jī)制進(jìn)行自適應(yīng)訓(xùn)練，可以從不完整的信息和噪聲干擾中恢復(fù)原始的完整的信息。這一功能使神經(jīng)網(wǎng)絡(luò)在圖像復(fù)原﹑語(yǔ)音處理﹑模式識(shí)別與分類方面具有重要的應(yīng)用前景。聯(lián)想記憶又分自聯(lián)想記憶和異聯(lián)想記憶兩種。

(2). 分類與識(shí)別功能：神經(jīng)網(wǎng)絡(luò)對(duì)外界輸入樣本有很強(qiáng)的識(shí)別與分類能力。對(duì)輸入樣本的分類實(shí)際上是在樣本空間找出符合分類要求的分割區(qū)域，每個(gè)區(qū)域內(nèi)的樣本屬于一類。

(3). 優(yōu)化計(jì)算功能：優(yōu)化計(jì)算是指在已知的約束條件下，尋找一組參數(shù)組合，使該組合確定的目標(biāo)函數(shù)達(dá)到最小。將優(yōu)化約束信息（與目標(biāo)函數(shù)有關(guān)）存儲(chǔ)于神經(jīng)網(wǎng)絡(luò)的連接權(quán)矩陣之中，神經(jīng)網(wǎng)絡(luò)的工作狀態(tài)以動(dòng)態(tài)系統(tǒng)方程式描述。設(shè)置一組隨機(jī)數(shù)據(jù)作為起始條件，當(dāng)系統(tǒng)的狀態(tài)趨于穩(wěn)定時(shí)，神經(jīng)網(wǎng)絡(luò)方程的解作為輸出優(yōu)化結(jié)果。優(yōu)化計(jì)算在TSP及生產(chǎn)調(diào)度問(wèn)題上有重要應(yīng)用。

(4). 非線性映射功能：在許多實(shí)際問(wèn)題中，如過(guò)程控制﹑系統(tǒng)辨識(shí)﹑故障診斷﹑機(jī)器人控制等諸多領(lǐng)域，系統(tǒng)的輸入與輸出之間存在復(fù)雜的非線性關(guān)系，對(duì)于這類系統(tǒng)，往往難以用傳統(tǒng)的數(shù)理方程建立其數(shù)學(xué)模型。神經(jīng)網(wǎng)絡(luò)在這方面有獨(dú)到的優(yōu)勢(shì)，設(shè)計(jì)合理的神經(jīng)網(wǎng)絡(luò)通過(guò)對(duì)系統(tǒng)輸入輸出樣本進(jìn)行訓(xùn)練學(xué)習(xí)，從理論上講，能夠以任意精度逼近任意復(fù)雜的非線性函數(shù)。神經(jīng)網(wǎng)絡(luò)的這一優(yōu)良性能使其可以作為多維非線性函數(shù)的通用數(shù)學(xué)模型。

四、人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

1.生物神經(jīng)元的結(jié)構(gòu)：神經(jīng)細(xì)胞是構(gòu)成神經(jīng)系統(tǒng)的基本單元，稱之為生物神經(jīng)元，簡(jiǎn)稱神經(jīng)元。神經(jīng)元主要由三部分構(gòu)成：（1）細(xì)胞體;（2）軸突;（3）樹突。如下圖所示：

突觸是神經(jīng)元之間相互連接的接口部分，即一個(gè)神經(jīng)元的神經(jīng)末梢與另一個(gè)神經(jīng)元的樹突相接觸的交界面，位于神經(jīng)元的神經(jīng)末梢尾端。突觸是軸突的終端。

大腦可視作為1000多億神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)。神經(jīng)元的信息傳遞和處理是一種電化學(xué)活動(dòng)．樹突由于電化學(xué)作用接受外界的刺激，通過(guò)胞體內(nèi)的活動(dòng)體現(xiàn)為軸突電位，當(dāng)軸突電位達(dá)到一定的值則形成神經(jīng)脈沖或動(dòng)作電位；再通過(guò)軸突末梢傳遞給其它的神經(jīng)元．從控制論的觀點(diǎn)來(lái)看；這一過(guò)程可以看作一個(gè)多輸入單輸出非線性系統(tǒng)的動(dòng)態(tài)過(guò)程。

神經(jīng)元的功能特性：（1）時(shí)空整合功能；（2）神經(jīng)元的動(dòng)態(tài)極化性；（3）興奮與抑制狀態(tài)；（4）結(jié)構(gòu)的可塑性；（5）脈沖與電位信號(hào)的轉(zhuǎn)換；（6）突觸延期和不應(yīng)期；（7）學(xué)習(xí)、遺忘和疲勞。

2.人工神經(jīng)元結(jié)構(gòu)：人工神經(jīng)元的研究源于腦神經(jīng)元學(xué)說(shuō)，19世紀(jì)末，在生物、生理學(xué)領(lǐng)域，Waldeger等人創(chuàng)建了神經(jīng)元學(xué)說(shuō)。

人工神經(jīng)網(wǎng)絡(luò)是由大量處理單元經(jīng)廣泛互連而組成的人工網(wǎng)絡(luò)，用來(lái)模擬腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能。而這些處理單元我們把它稱作人工神經(jīng)元。人工神經(jīng)網(wǎng)絡(luò)可看成是以人工神經(jīng)元為節(jié)點(diǎn)，用有向加權(quán)弧連接起來(lái)的有向圖。在此有向圖中，人工神經(jīng)元就是對(duì)生物神經(jīng)元的模擬，而有向弧則是軸突—-突觸—-樹突對(duì)的模擬。有向弧的權(quán)值表示相互連接的兩個(gè)人工神經(jīng)元間相互作用的強(qiáng)弱。人工神經(jīng)元結(jié)構(gòu)如下圖所示：

神經(jīng)網(wǎng)絡(luò)從兩個(gè)方面模擬大腦：

(1). 神經(jīng)網(wǎng)絡(luò)獲取的知識(shí)是從外界環(huán)境中學(xué)習(xí)得來(lái)的。

(2). 內(nèi)部神經(jīng)元的連接強(qiáng)度，即突觸權(quán)值，用于儲(chǔ)存獲取的知識(shí)。

神經(jīng)網(wǎng)絡(luò)系統(tǒng)由能夠處理人類大腦不同部分之間信息傳遞的由大量神經(jīng)元連接形成的拓?fù)浣Y(jié)構(gòu)組成，依賴于這些龐大的神經(jīng)元數(shù)目和它們之間的聯(lián)系，人類的大腦能夠收到輸入的信息的刺激由分布式并行處理的神經(jīng)元相互連接進(jìn)行非線性映射處理，從而實(shí)現(xiàn)復(fù)雜的信息處理和推理任務(wù)。

對(duì)于某個(gè)處理單元（神經(jīng)元）來(lái)說(shuō)，假設(shè)來(lái)自其他處理單元（神經(jīng)元）i的信息為Xi，它們與本處理單元的互相作用強(qiáng)度即連接權(quán)值為Wi, i=0,1,…,n-1,處理單元的內(nèi)部閾值為θ。

那么本處理單元（神經(jīng)元）的輸入為：，而處理單元的輸出為：.

式中，xi為第i個(gè)元素的輸入，wi為第i個(gè)處理單元與本處理單元的互聯(lián)權(quán)重即神經(jīng)元連接權(quán)值。f稱為激活函數(shù)或作用函數(shù)，它決定節(jié)點(diǎn)（神經(jīng)元）的輸出。θ表示隱含層神經(jīng)節(jié)點(diǎn)的閾值。

神經(jīng)網(wǎng)絡(luò)的主要工作是建立模型和確定權(quán)值，一般有前向型和反饋型兩種網(wǎng)絡(luò)結(jié)構(gòu)。通常神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和訓(xùn)練需要一組輸入數(shù)據(jù)和輸出數(shù)據(jù)對(duì)，選擇網(wǎng)絡(luò)模型和傳遞、訓(xùn)練函數(shù)后，神經(jīng)網(wǎng)絡(luò)計(jì)算得到輸出結(jié)果，根據(jù)實(shí)際輸出和期望輸出之間的誤差進(jìn)行權(quán)值的修正，在網(wǎng)絡(luò)進(jìn)行判斷的時(shí)候就只有輸入數(shù)據(jù)而沒(méi)有預(yù)期的輸出結(jié)果。神經(jīng)網(wǎng)絡(luò)一個(gè)相當(dāng)重要的能力是其網(wǎng)絡(luò)能通過(guò)它的神經(jīng)元權(quán)值和閾值的不斷調(diào)整從環(huán)境中進(jìn)行學(xué)習(xí)，直到網(wǎng)絡(luò)的輸出誤差達(dá)到預(yù)期的結(jié)果，就認(rèn)為網(wǎng)絡(luò)訓(xùn)練結(jié)束。

對(duì)于這樣一種多輸入、單輸出的基本單元可以進(jìn)一步從生物化學(xué)、電生物學(xué)、數(shù)學(xué)等方面給出描述其功能的模型。利用大量神經(jīng)元相互連接組成的人工神經(jīng)網(wǎng)絡(luò)，將顯示出人腦的若干特征，人工神經(jīng)網(wǎng)絡(luò)也具有初步的自適應(yīng)與自組織能力。在學(xué)習(xí)或訓(xùn)練過(guò)程中改變突觸權(quán)重wij值，以適應(yīng)周圍環(huán)境的要求。同一網(wǎng)絡(luò)因?qū)W習(xí)方式及內(nèi)容不同可具有不同的功能。人工神經(jīng)網(wǎng)絡(luò)是一個(gè)具有學(xué)習(xí)能力的系統(tǒng)，可以發(fā)展知識(shí)，以至超過(guò)設(shè)計(jì)者原有的知識(shí)水平。通常，它的學(xué)習(xí)(或訓(xùn)練)方式可分為兩種，一種是有監(jiān)督(supervised)或稱有導(dǎo)師的學(xué)習(xí)，這時(shí)利用給定的樣本標(biāo)準(zhǔn)進(jìn)行分類或模仿；另一種是無(wú)監(jiān)督(unsupervised)學(xué)習(xí)或稱無(wú)導(dǎo)師學(xué)習(xí)，這時(shí)，只規(guī)定學(xué)習(xí)方式或某些規(guī)則，而具體的學(xué)習(xí)內(nèi)容隨系統(tǒng)所處環(huán)境(即輸入信號(hào)情況)而異，系統(tǒng)可以自動(dòng)發(fā)現(xiàn)環(huán)境特征和規(guī)律性，具有更近似于人腦的功能。

在人工神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)及應(yīng)用研究中，通常需要考慮三個(gè)方面的內(nèi)容，即神經(jīng)元激活函數(shù)、神經(jīng)元之間的連接形式和網(wǎng)絡(luò)的學(xué)習(xí)(訓(xùn)練)。

3. 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)形式：在構(gòu)造神經(jīng)網(wǎng)絡(luò)時(shí)，其神經(jīng)元的傳遞函數(shù)和轉(zhuǎn)換函數(shù)就已經(jīng)確定了。在網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程中是無(wú)法改變轉(zhuǎn)換函數(shù)的，因此如果想要改變網(wǎng)絡(luò)輸出的大小，只能通過(guò)改變加權(quán)求和的輸入來(lái)達(dá)到。由于神經(jīng)元只能對(duì)網(wǎng)絡(luò)的輸入信號(hào)進(jìn)行響應(yīng)處理，想要改變網(wǎng)絡(luò)的加權(quán)輸入只能修改網(wǎng)絡(luò)神經(jīng)元的權(quán)參數(shù)，因此神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)就是改變權(quán)值矩陣的過(guò)程。

4. 神經(jīng)網(wǎng)絡(luò)的工作過(guò)程：神經(jīng)網(wǎng)絡(luò)的工作過(guò)程包括離線學(xué)習(xí)和在線判斷兩部分。學(xué)習(xí)過(guò)程中各神經(jīng)元進(jìn)行規(guī)則學(xué)習(xí)，權(quán)參數(shù)調(diào)整，進(jìn)行非線性映射關(guān)系擬合以達(dá)到訓(xùn)練精度；判斷階段則是訓(xùn)練好的穩(wěn)定的網(wǎng)絡(luò)讀取輸入信息通過(guò)計(jì)算得到輸出結(jié)果。

5. 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則：神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則是修正權(quán)值的一種算法，分為聯(lián)想式和非聯(lián)想式學(xué)習(xí)，有監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)等。下面介紹幾個(gè)常用的學(xué)習(xí)規(guī)則。

(1). 誤差修正型規(guī)則：是一種有監(jiān)督的學(xué)習(xí)方法，根據(jù)實(shí)際輸出和期望輸出的誤差進(jìn)行網(wǎng)絡(luò)連接權(quán)值的修正，最終網(wǎng)絡(luò)誤差小于目標(biāo)函數(shù)達(dá)到預(yù)期結(jié)果。

誤差修正法，權(quán)值的調(diào)整與網(wǎng)絡(luò)的輸出誤差有關(guān)， 它包括δ學(xué)習(xí)規(guī)則、Widrow-Hoff學(xué)習(xí)規(guī)則、感知器學(xué)習(xí)規(guī)則和誤差反向傳播的BP(Back Propagation)學(xué)習(xí)規(guī)則等。

(2). 競(jìng)爭(zhēng)型規(guī)則：無(wú)監(jiān)督學(xué)習(xí)過(guò)程，網(wǎng)絡(luò)僅根據(jù)提供的一些學(xué)習(xí)樣本進(jìn)行自組織學(xué)習(xí)，沒(méi)有期望輸出，通過(guò)神經(jīng)元相互競(jìng)爭(zhēng)對(duì)外界刺激模式響應(yīng)的權(quán)利進(jìn)行網(wǎng)絡(luò)權(quán)值的調(diào)整來(lái)適應(yīng)輸入的樣本數(shù)據(jù)。

對(duì)于無(wú)監(jiān)督學(xué)習(xí)的情況，事先不給定標(biāo)準(zhǔn)樣本，直接將網(wǎng)絡(luò)置于“環(huán)境”之中，學(xué)習(xí)(訓(xùn)練)階段與應(yīng)用(工作)階段成為一體。

(3). Hebb型規(guī)則：利用神經(jīng)元之間的活化值(激活值)來(lái)反映它們之間聯(lián)接性的變化，即根據(jù)相互連接的神經(jīng)元之間的活化值(激活值)來(lái)修正其權(quán)值。

在Hebb學(xué)習(xí)規(guī)則中，學(xué)習(xí)信號(hào)簡(jiǎn)單地等于神經(jīng)元的輸出。Hebb學(xué)習(xí)規(guī)則代表一種純前饋﹑無(wú)導(dǎo)師學(xué)習(xí)。該學(xué)習(xí)規(guī)則至今在各種神經(jīng)網(wǎng)絡(luò)模型中起著重要作用。典型的應(yīng)用如利用Hebb規(guī)則訓(xùn)練線性聯(lián)想器的權(quán)矩陣。

(4). 隨機(jī)型規(guī)則：在學(xué)習(xí)過(guò)程中結(jié)合了隨機(jī)、概率論和能量函數(shù)的思想，根據(jù)目標(biāo)函數(shù)（即網(wǎng)絡(luò)輸出均方差）的變化調(diào)整網(wǎng)絡(luò)的參數(shù)，最終使網(wǎng)絡(luò)目標(biāo)函數(shù)達(dá)到收斂值。

6. 激活函數(shù)：在神經(jīng)網(wǎng)絡(luò)中，網(wǎng)絡(luò)解決問(wèn)題的能力與效率除了與網(wǎng)絡(luò)結(jié)構(gòu)有關(guān)外，在很大程度上取決于網(wǎng)絡(luò)所采用的激活函數(shù)。激活函數(shù)的選擇對(duì)網(wǎng)絡(luò)的收斂速度有較大的影響，針對(duì)不同的實(shí)際問(wèn)題，激活函數(shù)的選擇也應(yīng)不同。

神經(jīng)元在輸入信號(hào)作用下產(chǎn)生輸出信號(hào)的規(guī)律由神經(jīng)元功能函數(shù)f（Activation Function）給出，也稱激活函數(shù)，或稱轉(zhuǎn)移函數(shù)，這是神經(jīng)元模型的外特性。它包含了從輸入信號(hào)到凈輸入、再到激活值、最終產(chǎn)生輸出信號(hào)的過(guò)程。綜合了凈輸入、f函數(shù)的作用。f函數(shù)形式多樣，利用它們的不同特性可以構(gòu)成功能各異的神經(jīng)網(wǎng)絡(luò)。

常用的激活函數(shù)有以下幾種形式：

(1). 閾值函數(shù)：該函數(shù)通常也稱為階躍函數(shù)。當(dāng)激活函數(shù)采用階躍函數(shù)時(shí)，人工神經(jīng)元模型即為MP模型。此時(shí)神經(jīng)元的輸出取１或０，反應(yīng)了神經(jīng)元的興奮或抑制。

(2). 線性函數(shù)：該函數(shù)可以在輸出結(jié)果為任意值時(shí)作為輸出神經(jīng)元的激活函數(shù)，但是當(dāng)網(wǎng)絡(luò)復(fù)雜時(shí)，線性激活函數(shù)大大降低網(wǎng)絡(luò)的收斂性，故一般較少采用。

(3). 對(duì)數(shù)S形函數(shù)：對(duì)數(shù)S形函數(shù)的輸出介于0~1之間，常被要求為輸出在０～１范圍的信號(hào)選用。它是神經(jīng)元中使用最為廣泛的激活函數(shù)。

(4). 雙曲正切S形函數(shù)：雙曲正切S形函數(shù)類似于被平滑的階躍函數(shù)，形狀與對(duì)數(shù)S形函數(shù)相同，以原點(diǎn)對(duì)稱，其輸出介于-１~１之間，常常被要求為輸出在-１~１范圍的信號(hào)選用。

7. 神經(jīng)元之間的連接形式：神經(jīng)網(wǎng)絡(luò)是一個(gè)復(fù)雜的互連系統(tǒng)，單元之間的互連模式將對(duì)網(wǎng)絡(luò)的性質(zhì)和功能產(chǎn)生重要影響。互連模式種類繁多。

(1). 前向網(wǎng)絡(luò)(前饋網(wǎng)絡(luò))：網(wǎng)絡(luò)可以分為若干“層”，各層按信號(hào)傳輸先后順序依次排列，第i層的神經(jīng)元只接受第(i-1)層神經(jīng)元給出的信號(hào)，各神經(jīng)元之間沒(méi)有反饋。前饋型網(wǎng)絡(luò)可用一有向無(wú)環(huán)路圖表示，如下圖所示：

可以看出，輸入節(jié)點(diǎn)并無(wú)計(jì)算功能，只是為了表征輸入矢量各元素值。各層節(jié)點(diǎn)表示具有計(jì)算功能的神經(jīng)元，稱為計(jì)算單元。每個(gè)計(jì)算單元可以有任意個(gè)輸入，但只有一個(gè)輸出，它可送到多個(gè)節(jié)點(diǎn)作輸入。稱輸入節(jié)點(diǎn)層為第零層。計(jì)算單元的各節(jié)點(diǎn)層從下至上依次稱為第1至第N層，由此構(gòu)成N層前向網(wǎng)絡(luò)。(也有把輸入節(jié)點(diǎn)層稱為第1層，于是對(duì)N層網(wǎng)絡(luò)將變?yōu)镹+1個(gè)節(jié)點(diǎn)層序號(hào)。)

第一節(jié)點(diǎn)層與輸出節(jié)點(diǎn)統(tǒng)稱為“可見(jiàn)層”，而其他中間層則稱為隱含層(hidden layer)，這些神經(jīng)元稱為隱節(jié)點(diǎn)。BP網(wǎng)絡(luò)就是典型的前向網(wǎng)絡(luò)。

(2). 反饋網(wǎng)絡(luò)：典型的反饋型神經(jīng)網(wǎng)絡(luò)如下圖a所示：

每個(gè)節(jié)點(diǎn)都表示一個(gè)計(jì)算單元，同時(shí)接受外加輸入和其它各節(jié)點(diǎn)的反饋輸入，每個(gè)節(jié)點(diǎn)也都直接向外部輸出。Hopfield網(wǎng)絡(luò)即屬此種類型。在某些反饋網(wǎng)絡(luò)中，各神經(jīng)元除接受外加輸入與其它各節(jié)點(diǎn)反饋輸入之外，還包括自身反饋。有時(shí)，反饋型神經(jīng)網(wǎng)絡(luò)也可表示為一張完全的無(wú)向圖，如上圖b。圖中，每一個(gè)連接都是雙向的。這里，第i個(gè)神經(jīng)元對(duì)于第j個(gè)神經(jīng)元的反饋與第j至i神經(jīng)元反饋之突觸權(quán)重相等，也即wij=wji。

以上介紹了兩種最基本的人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)際上，人工神經(jīng)網(wǎng)絡(luò)還有許多種連接形式，例如，從輸出層到輸入層有反饋的前向網(wǎng)絡(luò)，同層內(nèi)或異層間有相互反饋的多層網(wǎng)絡(luò)等等。

五、人工神經(jīng)網(wǎng)絡(luò)模型

1.人工神經(jīng)網(wǎng)絡(luò)的分類：

按性能分：連續(xù)型和離散型網(wǎng)絡(luò)，或確定型和隨機(jī)型網(wǎng)絡(luò)。

按拓?fù)浣Y(jié)構(gòu)分：前向網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)。

前向網(wǎng)絡(luò)有自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)(AdaptiveLinear，簡(jiǎn)稱Adaline)、單層感知器、多層感知器、BP等。

前向網(wǎng)絡(luò)，網(wǎng)絡(luò)中各個(gè)神經(jīng)元接受前一級(jí)的輸入，并輸出到下一級(jí)，網(wǎng)絡(luò)中沒(méi)有反饋，可以用一個(gè)有向無(wú)環(huán)路圖表示。這種網(wǎng)絡(luò)實(shí)現(xiàn)信號(hào)從輸入空間到輸出空間的變換，它的信息處理能力來(lái)自于簡(jiǎn)單非線性函數(shù)的多次復(fù)合。網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，易于實(shí)現(xiàn)。反傳網(wǎng)絡(luò)是一種典型的前向網(wǎng)絡(luò)。

反饋網(wǎng)絡(luò)有Hopfield、Hamming、BAM等。

反饋網(wǎng)絡(luò)，網(wǎng)絡(luò)內(nèi)神經(jīng)元間有反饋，可以用一個(gè)無(wú)向的完備圖表示。這種神經(jīng)網(wǎng)絡(luò)的信息處理是狀態(tài)的變換，可以用動(dòng)力學(xué)系統(tǒng)理論處理。系統(tǒng)的穩(wěn)定性與聯(lián)想記憶功能有密切關(guān)系。Hopfield網(wǎng)絡(luò)、波耳茲曼機(jī)均屬于這種類型。

按學(xué)習(xí)方法分：有教師(監(jiān)督)的學(xué)習(xí)網(wǎng)絡(luò)和無(wú)教師(監(jiān)督)的學(xué)習(xí)網(wǎng)絡(luò)。

按連接突觸性質(zhì)分：一階線性關(guān)聯(lián)網(wǎng)絡(luò)和高階非線性關(guān)聯(lián)網(wǎng)絡(luò)。

2.生物神經(jīng)元模型：人腦是自然界所造就的高級(jí)動(dòng)物，人的思維是由人腦來(lái)完成的，而思維則是人類智能的集中體現(xiàn)。人腦的皮層中包含100億個(gè)神經(jīng)元、60萬(wàn)億個(gè)神經(jīng)突觸，以及他們的連接體。神經(jīng)系統(tǒng)的基本結(jié)構(gòu)和功能單位就是神經(jīng)細(xì)胞，即神經(jīng)元，它主要由細(xì)胞體、樹突、軸突和突觸組成。人類的神經(jīng)元具備以下幾個(gè)基本功能特性：時(shí)空整合功能；神經(jīng)元的動(dòng)態(tài)極化性；興奮與抑制狀態(tài)；結(jié)構(gòu)的可塑性；脈沖與電位信號(hào)的轉(zhuǎn)換；突觸延期和不延期；學(xué)習(xí)、遺忘和疲勞；神經(jīng)網(wǎng)絡(luò)是由大量的神經(jīng)元單元相互連接而構(gòu)成的網(wǎng)絡(luò)系統(tǒng)。

3.人工神經(jīng)網(wǎng)絡(luò)模型：人工神經(jīng)網(wǎng)絡(luò)，使通過(guò)模仿生物神經(jīng)網(wǎng)絡(luò)的行為特征，進(jìn)行分布式并行信息處理的數(shù)學(xué)模型。這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜度，通過(guò)調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系，從而達(dá)到信息處理的目的。人工神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)和自適應(yīng)的能力，可以通過(guò)預(yù)先提供的一批相互對(duì)應(yīng)的輸入輸出數(shù)據(jù)，分析兩者的內(nèi)在關(guān)系和規(guī)律，最終通過(guò)這些規(guī)律形成一個(gè)復(fù)雜的非線性系統(tǒng)函數(shù)，這種學(xué)習(xí)分析過(guò)程被稱作“訓(xùn)練”。神經(jīng)元的每一個(gè)輸入連接都有突觸連接強(qiáng)度，用一個(gè)連接權(quán)值來(lái)表示，即將產(chǎn)生的信號(hào)通過(guò)連接強(qiáng)度放大，每一個(gè)輸入量都對(duì)應(yīng)有一個(gè)相關(guān)聯(lián)的權(quán)重。處理單元將經(jīng)過(guò)權(quán)重的輸入量化，然后相加求得加權(quán)值之和，計(jì)算出輸出量，這個(gè)輸出量是權(quán)重和的函數(shù)，一般稱此函數(shù)為傳遞函數(shù)。

4.感知器模型：

感知器模型是美國(guó)學(xué)者羅森勃拉特（Rosenblatt）為研究大腦的存儲(chǔ)、學(xué)習(xí)和認(rèn)知過(guò)程而提出的一類具有自學(xué)習(xí)能力的神經(jīng)網(wǎng)絡(luò)模型，它把神經(jīng)網(wǎng)絡(luò)的研究從純理論探討引向了從工程上的實(shí)現(xiàn)。

Rosenblatt提出的感知器模型是一個(gè)只有單層計(jì)算單元的前向神經(jīng)網(wǎng)絡(luò)，稱為單層感知器。

單層感知器模型的學(xué)習(xí)算法，算法思想：首先把連接權(quán)和閾值初始化為較小的非零隨機(jī)數(shù)，然后把有n個(gè)連接權(quán)值的輸入送入網(wǎng)絡(luò)，經(jīng)加權(quán)運(yùn)算處理，得到的輸出如果與所期望的輸出有較大的差別，就對(duì)連接權(quán)值參數(shù)按照某種算法進(jìn)行自動(dòng)調(diào)整，經(jīng)過(guò)多次反復(fù)，直到所得到的輸出與所期望的輸出間的差別滿足要求為止。

線性不可分問(wèn)題：?jiǎn)螌痈兄鞑荒鼙磉_(dá)的問(wèn)題被稱為線性不可分問(wèn)題。 1969年，明斯基證明了“異或”問(wèn)題是線性不可分問(wèn)題。

線性不可分函數(shù)的數(shù)量隨著輸入變量個(gè)數(shù)的增加而快速增加，甚至遠(yuǎn)遠(yuǎn)超過(guò)了線性可分函數(shù)的個(gè)數(shù)。也就是說(shuō)，單層感知器不能表達(dá)的問(wèn)題的數(shù)量遠(yuǎn)遠(yuǎn)超過(guò)了它所能表達(dá)的問(wèn)題的數(shù)量。

多層感知器：在單層感知器的輸入部分和輸出層之間加入一層或多層處理單元，就構(gòu)成了二層或多層感知器。

在多層感知器模型中，只允許某一層的連接權(quán)值可調(diào)，這是因?yàn)闊o(wú)法知道網(wǎng)絡(luò)隱層的神經(jīng)元的理想輸出，因而難以給出一個(gè)有效的多層感知器學(xué)習(xí)算法。

多層感知器克服了單層感知器的許多缺點(diǎn)，原來(lái)一些單層感知器無(wú)法解決的問(wèn)題，在多層感知器中就可以解決。例如，應(yīng)用二層感知器就可以解決異或邏輯運(yùn)算問(wèn)題

5.反向傳播模型：

反向傳播模型也稱B-P模型，是一種用于前向多層的反向傳播學(xué)習(xí)算法。之所以稱它是一種學(xué)習(xí)方法，是因?yàn)橛盟梢詫?duì)組成前向多層網(wǎng)絡(luò)的各人工神經(jīng)元之間的連接權(quán)值進(jìn)行不斷的修改，從而使該前向多層網(wǎng)絡(luò)能夠?qū)⑤斎胨男畔⒆儞Q成所期望的輸出信息。之所以將其稱作為反向?qū)W習(xí)算法，是因?yàn)樵谛薷母魅斯ど窠?jīng)元的連接權(quán)值時(shí)，所依據(jù)的是該網(wǎng)絡(luò)的實(shí)際輸出與其期望的輸出之差，將這一差值反向一層一層的向回傳播，來(lái)決定連接權(quán)值的修改。

B-P算法的網(wǎng)絡(luò)結(jié)構(gòu)是一個(gè)前向多層網(wǎng)絡(luò)。它是在1986年，由Rumelhant和Mcllelland提出的。是一種多層網(wǎng)絡(luò)的“逆推”學(xué)習(xí)算法。其基本思想是，學(xué)習(xí)過(guò)程由信號(hào)的正向傳播與誤差的反向傳播兩個(gè)過(guò)程組成。正向傳播時(shí)，輸入樣本從輸入層傳入，經(jīng)隱層逐層處理后，傳向輸出層。若輸出層的實(shí)際輸出與期望輸出不符，則轉(zhuǎn)向誤差的反向傳播階段。誤差的反向傳播是將輸出誤差以某種形式通過(guò)隱層向輸入層逐層反傳，并將誤差分?jǐn)偨o各層的所有單元，從而獲得各層單元的誤差信號(hào)，此誤差信號(hào)即作為修正各單元權(quán)值的依據(jù)。這種信號(hào)正向傳播與誤差反向傳播的各層權(quán)值調(diào)整過(guò)程，是周而復(fù)始地進(jìn)行。權(quán)值不斷調(diào)整過(guò)程，也就是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過(guò)程。此過(guò)程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差減少到可以接受的程度，或進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。

反向傳播網(wǎng)絡(luò)的學(xué)習(xí)算法：B-P算法的學(xué)習(xí)目的是對(duì)網(wǎng)絡(luò)的連接權(quán)值進(jìn)行調(diào)整，使得調(diào)整后的網(wǎng)絡(luò)對(duì)任一輸入都能得到所期望的輸出。

學(xué)習(xí)過(guò)程由正向傳播和反向傳播組成。

正向傳播用于對(duì)前向網(wǎng)絡(luò)進(jìn)行計(jì)算，即對(duì)某一輸入信息，經(jīng)過(guò)網(wǎng)絡(luò)計(jì)算后求出它的輸出結(jié)果。

反向傳播用于逐層傳遞誤差，修改神經(jīng)元間的連接權(quán)值，以使網(wǎng)絡(luò)對(duì)輸入信息經(jīng)過(guò)計(jì)算后所得到的輸出能達(dá)到期望的誤差要求。

B-P算法的學(xué)習(xí)過(guò)程如下：

(1). 選擇一組訓(xùn)練樣例，每一個(gè)樣例由輸入信息和期望的輸出結(jié)果兩部分組成。

(2). 從訓(xùn)練樣例集中取一樣例，把輸入信息輸入到網(wǎng)絡(luò)中。

(3). 分別計(jì)算經(jīng)神經(jīng)元處理后的各層節(jié)點(diǎn)的輸出。

(4). 計(jì)算網(wǎng)絡(luò)的實(shí)際輸出和期望輸出的誤差。

(5). 從輸出層反向計(jì)算到第一個(gè)隱層，并按照某種能使誤差向減小方向發(fā)展的原則，調(diào)整網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)值。

(6). 對(duì)訓(xùn)練樣例集中的每一個(gè)樣例重復(fù)(3)-(5)的步驟，直到對(duì)整個(gè)訓(xùn)練樣例集的誤差達(dá)到要求時(shí)為止。

在以上的學(xué)習(xí)過(guò)程中，第(5)步是最重要的，如何確定一種調(diào)整連接權(quán)值的原則，使誤差沿著減小的方向發(fā)展，是B-P學(xué)習(xí)算法必須解決的問(wèn)題。

B-P算法的優(yōu)缺點(diǎn)：

優(yōu)點(diǎn)：理論基礎(chǔ)牢固，推導(dǎo)過(guò)程嚴(yán)謹(jǐn)，物理概念清晰，通用性好等。所以，它是目前用來(lái)訓(xùn)練前向多層網(wǎng)絡(luò)較好的算法。

缺點(diǎn)：(1). 該學(xué)習(xí)算法的收斂速度慢；(2). 網(wǎng)絡(luò)中隱節(jié)點(diǎn)個(gè)數(shù)的選取尚無(wú)理論上的指導(dǎo)；(3). 從數(shù)學(xué)角度看，B-P算法是一種梯度最速下降法，這就可能出現(xiàn)局部極小的問(wèn)題。當(dāng)出現(xiàn)局部極小時(shí)，從表面上看，誤差符合要求，但這時(shí)所得到的解并不一定是問(wèn)題的真正解。所以B-P算法是不完備的。

BP算法局限性：

(1). 在誤差曲面上有些區(qū)域平坦，此時(shí)誤差對(duì)權(quán)值的變化不敏感，誤差下降緩慢，調(diào)整時(shí)間長(zhǎng)，影響收斂速度。這時(shí)誤差的梯度變化很小，即使權(quán)值的調(diào)整量很大，誤差仍然下降很慢。造成這種情況的原因與各節(jié)點(diǎn)的凈輸入過(guò)大有關(guān)。

(2). 存在多個(gè)極小點(diǎn)。從兩維權(quán)空間的誤差曲面可以看出，其上存在許多凸凹不平，其低凹部分就是誤差函數(shù)的極小點(diǎn)。可以想象多維權(quán)空間的誤差曲面，會(huì)更加復(fù)雜，存在更多個(gè)局部極小點(diǎn)，它們的特點(diǎn)都是誤差梯度為0。BP算法權(quán)值調(diào)整依據(jù)是誤差梯度下降，當(dāng)梯度為0時(shí)，BP算法無(wú)法辨別極小點(diǎn)性質(zhì)，因此訓(xùn)練常陷入某個(gè)局部極小點(diǎn)而不能自拔，使訓(xùn)練難以收斂于給定誤差。

BP算法改進(jìn)：誤差曲面的平坦區(qū)將使誤差下降緩慢，調(diào)整時(shí)間加長(zhǎng)，迭代次數(shù)增多，影響收斂速度；而誤差曲面存在的多個(gè)極小點(diǎn)會(huì)使網(wǎng)絡(luò)訓(xùn)練陷入局部極小，從而使網(wǎng)絡(luò)訓(xùn)練無(wú)法收斂于給定誤差。這兩個(gè)問(wèn)題是BP網(wǎng)絡(luò)標(biāo)準(zhǔn)算法的固有缺陷。

針對(duì)此，國(guó)內(nèi)外不少學(xué)者提出了許多改進(jìn)算法，幾種典型的改進(jìn)算法：

(1). 增加動(dòng)量項(xiàng)：標(biāo)準(zhǔn)BP算法在調(diào)整權(quán)值時(shí)，只按t時(shí)刻誤差的梯度下降方向調(diào)整，而沒(méi)有考慮t時(shí)刻以前的梯度方向，從而常使訓(xùn)練過(guò)程發(fā)生振蕩，收斂緩慢。為了提高訓(xùn)練速度，可以在權(quán)值調(diào)整公式中加一動(dòng)量項(xiàng)。大多數(shù)BP算法中都增加了動(dòng)量項(xiàng)，以至于有動(dòng)量項(xiàng)的BP算法成為一種新的標(biāo)準(zhǔn)算法。

(2). 可變學(xué)習(xí)速度的反向傳播算法（variable learning rate back propagation，VLBP）：多層網(wǎng)絡(luò)的誤差曲面不是二次函數(shù)。曲面的形狀隨參數(shù)空間區(qū)域的不同而不同?？梢栽趯W(xué)習(xí)過(guò)程中通過(guò)調(diào)整學(xué)習(xí)速度來(lái)提高收斂速度。技巧是決定何時(shí)改變學(xué)習(xí)速度和怎樣改變學(xué)習(xí)速度?？勺儗W(xué)習(xí)速度的VLBP算法有許多不同的方法來(lái)改變學(xué)習(xí)速度。

(3). 學(xué)習(xí)速率的自適應(yīng)調(diào)節(jié)：可變學(xué)習(xí)速度VLBP算法，需要設(shè)置多個(gè)參數(shù)，算法的性能對(duì)這些參數(shù)的改變往往十分敏感，另外，處理起來(lái)也較麻煩。此處給出一簡(jiǎn)潔的學(xué)習(xí)速率的自適應(yīng)調(diào)節(jié)算法。學(xué)習(xí)率的調(diào)整只與網(wǎng)絡(luò)總誤差有關(guān)。學(xué)習(xí)速率η也稱步長(zhǎng)，在標(biāo)準(zhǔn)BP中是一常數(shù)，但在實(shí)際計(jì)算中，很難給定出一個(gè)從始至終都很合適的最佳學(xué)習(xí)速率。從誤差曲面可以看出，在平坦區(qū)內(nèi)η太小會(huì)使訓(xùn)練次數(shù)增加，這時(shí)候希望η值大一些；而在誤差變化劇烈的區(qū)域，η太大會(huì)因調(diào)整過(guò)量而跨過(guò)較窄的“凹坑”處，使訓(xùn)練出現(xiàn)振蕩，反而使迭代次數(shù)增加。為了加速收斂過(guò)程，最好是能自適應(yīng)調(diào)整學(xué)習(xí)率η，使其該大則大，該小則小。比如可以根據(jù)網(wǎng)絡(luò)總誤差來(lái)調(diào)整.

(4). 引入陡度因子—-防止飽和：誤差曲面上存在著平坦區(qū)。其權(quán)值調(diào)整緩慢的原因在于S轉(zhuǎn)移函數(shù)具有飽和特性造成的。如果在調(diào)整進(jìn)入平坦區(qū)后，設(shè)法壓縮神經(jīng)元的凈輸入，使其輸出退出轉(zhuǎn)移函數(shù)的飽和區(qū)，就可改變誤差函數(shù)的形狀，從而使調(diào)整脫離平坦區(qū)。實(shí)現(xiàn)這一思路的具體作法是在轉(zhuǎn)移函數(shù)中引進(jìn)一個(gè)陡度因子。

BP神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的一般原則：關(guān)于它的開發(fā)設(shè)計(jì)，大多數(shù)是根據(jù)使用者的經(jīng)驗(yàn)來(lái)設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)﹑功能函數(shù)﹑學(xué)習(xí)算法﹑樣本等。

[1]. BP網(wǎng)絡(luò)參數(shù)設(shè)計(jì)

(1). BP網(wǎng)絡(luò)輸入與輸出參數(shù)的確定

A. 輸入量的選擇：

a. 輸入量必須選擇那些對(duì)輸出影響大且能夠檢測(cè)或提取的變量；

b. 各輸入量之間互不相關(guān)或相關(guān)性很小。從輸入、輸出量性質(zhì)分類來(lái)看，可以分為兩類：數(shù)值變量和語(yǔ)言變量。數(shù)值變量又分為連續(xù)變量或離散變量。如常見(jiàn)的溫度，壓力，電壓，電流等就是連續(xù)變量；語(yǔ)言變量是用自然語(yǔ)言表示的概念。如紅，綠，藍(lán)；男，女；大，中，小，開，關(guān)，亮，暗等。一般來(lái)說(shuō)，語(yǔ)言變量在網(wǎng)絡(luò)處理時(shí)，需要轉(zhuǎn)化為離散變量。

c. 輸入量的表示與提取：多數(shù)情況下，直接送給神經(jīng)網(wǎng)絡(luò)的輸入量無(wú)法直接得到，常常需要用信號(hào)處理與特征提取技術(shù)從原始數(shù)據(jù)中提取能反映其特征的若干參數(shù)作為網(wǎng)絡(luò)輸入。

B. 輸出量選擇與表示：

a. 輸出量一般代表系統(tǒng)要實(shí)現(xiàn)的功能目標(biāo)，如分類問(wèn)題的類別歸屬等；

b. 輸出量表示可以是數(shù)值也可是語(yǔ)言變量；

(2). 訓(xùn)練樣本集的設(shè)計(jì)

網(wǎng)絡(luò)的性能與訓(xùn)練用的樣本密切相關(guān)，設(shè)計(jì)一個(gè)好的訓(xùn)練樣本集既要注意樣本規(guī)模，又要注意樣本質(zhì)量。

A. 樣本數(shù)目的確定：一般來(lái)說(shuō)樣本數(shù)n越多，訓(xùn)練結(jié)果越能正確反映其內(nèi)在規(guī)律，但樣本的獲取往往有一定困難，另一方面，當(dāng)樣本數(shù)n達(dá)到一定數(shù)量后，網(wǎng)絡(luò)的精度也很難提高。

選擇原則：網(wǎng)絡(luò)規(guī)模越大，網(wǎng)絡(luò)映射關(guān)系越復(fù)雜，樣本數(shù)越多。一般說(shuō)來(lái)，訓(xùn)練樣本數(shù)是網(wǎng)絡(luò)連接權(quán)總數(shù)的5～10倍，但許多情況難以達(dá)到這樣的要求。

B. 樣本的選擇和組織：

a. 樣本要有代表性，注意樣本類別的均衡；

b. 樣本的組織要注意將不同類別的樣本交叉輸入；

c. 網(wǎng)絡(luò)的訓(xùn)練測(cè)試，測(cè)試標(biāo)準(zhǔn)是看網(wǎng)絡(luò)是否有好的泛化能力。測(cè)試做法：不用樣本訓(xùn)練集中數(shù)據(jù)測(cè)試。一般是將收集到的可用樣本隨機(jī)地分成兩部分，一部分為訓(xùn)練集，另一部分為測(cè)試集。若訓(xùn)練樣本誤差很小，而對(duì)測(cè)試集的樣本誤差很大，泛化能力差。

(3). 初始權(quán)值的設(shè)計(jì)

網(wǎng)絡(luò)權(quán)值的初始化決定了網(wǎng)絡(luò)的訓(xùn)練從誤差曲面的哪一點(diǎn)開始，因此初始化方法對(duì)縮短網(wǎng)絡(luò)的訓(xùn)練時(shí)間至關(guān)重要。

神經(jīng)元的作用函數(shù)是關(guān)于坐標(biāo)點(diǎn)對(duì)稱的，若每個(gè)節(jié)點(diǎn)的凈輸入均在零點(diǎn)附近，則輸出均出在作用函數(shù)的中點(diǎn)，這個(gè)位置不僅遠(yuǎn)離作用函數(shù)的飽和區(qū)，而且是其變化最靈敏的區(qū)域，必使網(wǎng)絡(luò)學(xué)習(xí)加快。從神經(jīng)網(wǎng)絡(luò)凈輸入表達(dá)式來(lái)看，為了使各節(jié)點(diǎn)的初始凈輸入在零點(diǎn)附近，如下兩種方法被常常使用：

A. 取足夠小的初始權(quán)值；

B. 使初始值為+1和-1的權(quán)值數(shù)相等。

[2]. BP網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)設(shè)計(jì)

隱層結(jié)構(gòu)設(shè)計(jì)

(1). 隱層數(shù)設(shè)計(jì)：理論證明，具有單隱層的前饋網(wǎng)絡(luò)可以映射所有連續(xù)函數(shù)，只有當(dāng)學(xué)習(xí)不連續(xù)函數(shù)時(shí)才需要兩個(gè)隱層，故一般情況隱層最多需要兩層。一般方法是先設(shè)一個(gè)隱層，當(dāng)一個(gè)隱層的節(jié)點(diǎn)數(shù)很多，仍不能改善網(wǎng)絡(luò)性能時(shí)，再增加一個(gè)隱層。最常用的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)是3層結(jié)構(gòu)，即輸入層﹑輸出層和1個(gè)隱層。

(2). 隱層節(jié)點(diǎn)數(shù)設(shè)計(jì)：隱層節(jié)點(diǎn)數(shù)目對(duì)神經(jīng)網(wǎng)絡(luò)的性能有一定的影響。隱層節(jié)點(diǎn)數(shù)過(guò)少時(shí)，學(xué)習(xí)的容量有限，不足以存儲(chǔ)訓(xùn)練樣本中蘊(yùn)涵的所有規(guī)律；隱層節(jié)點(diǎn)過(guò)多不僅會(huì)增加網(wǎng)絡(luò)訓(xùn)練時(shí)間，而且會(huì)將樣本中非規(guī)律性的內(nèi)容如干擾和噪聲存儲(chǔ)進(jìn)去。反而降低泛化能力。一般方法是湊試法：

6.Hopfield模型：

Hopfield模型是霍普菲爾德分別于1982年及1984提出的兩個(gè)神經(jīng)網(wǎng)絡(luò)模型。1982年提出的是離散型，1984年提出的是連續(xù)型，但它們都是反饋網(wǎng)絡(luò)結(jié)構(gòu)。

由于在反饋網(wǎng)絡(luò)中，網(wǎng)絡(luò)的輸出要反復(fù)地作為輸入再送入網(wǎng)絡(luò)中，這就使得網(wǎng)絡(luò)具有了動(dòng)態(tài)性，網(wǎng)絡(luò)的狀態(tài)在不斷的改變之中，因而就提出了網(wǎng)絡(luò)的穩(wěn)定性問(wèn)題。所謂一個(gè)網(wǎng)絡(luò)是穩(wěn)定的是指從某一時(shí)刻開始，網(wǎng)絡(luò)的狀態(tài)不再改變。

設(shè)用X(t)表示網(wǎng)絡(luò)在時(shí)刻t的狀態(tài)，如果從t=０的任一初態(tài)X(0)開始，存在一個(gè)有限的時(shí)刻t，使得從此時(shí)刻開始神經(jīng)網(wǎng)絡(luò)的狀態(tài)不再發(fā)生變化，就稱此網(wǎng)絡(luò)是穩(wěn)定的。

離散網(wǎng)絡(luò)模型是一個(gè)離散時(shí)間系統(tǒng)，每個(gè)神經(jīng)元只有兩個(gè)狀態(tài)，可以用1和0來(lái)表示，由連接權(quán)值Ｗij所構(gòu)成的矩陣是一個(gè)對(duì)角線為0的對(duì)稱矩陣。

Hopfield網(wǎng)絡(luò)離散模型有兩種工作模式：

(1). 串行方式，是指在任一時(shí)刻t，只有一個(gè)神經(jīng)元i發(fā)生狀態(tài)變化，而其余的神經(jīng)元保持狀態(tài)不變。

(2). 并行方式，是指在任一時(shí)刻t，都有部分或全體神經(jīng)元同時(shí)改變狀態(tài)。

有關(guān)離散的Hopfield網(wǎng)絡(luò)的穩(wěn)定性問(wèn)題，已于1983年由Cohen和Grossberg給于了證明。而Hopfield等人又進(jìn)一步證明，只要連接權(quán)值構(gòu)成的矩陣是非負(fù)對(duì)角元的對(duì)稱矩陣，則該網(wǎng)絡(luò)就具有串行穩(wěn)定性。

1984年，Hopfield又提出了連續(xù)時(shí)間的神經(jīng)網(wǎng)絡(luò)，在這種神經(jīng)網(wǎng)絡(luò)中，各節(jié)點(diǎn)可在0到1的區(qū)間內(nèi)取任一實(shí)數(shù)值。

Hopfield網(wǎng)絡(luò)是一種非線性的動(dòng)力網(wǎng)絡(luò)，可通過(guò)反復(fù)的網(wǎng)絡(luò)動(dòng)態(tài)迭代來(lái)求解問(wèn)題，這是符號(hào)邏輯方法所不具有的特性。在求解某些問(wèn)題時(shí)，其求解問(wèn)題的方法與人類求解問(wèn)題的方法很相似，雖然所求得的解不是最佳解，但其求解速度快，更符合人們?nèi)粘＝鉀Q問(wèn)題的策略。

Hopfield遞歸網(wǎng)絡(luò)是美國(guó)加洲理工學(xué)院物理學(xué)家J.J.Hopfield教授于1983年提出的。Hopfield網(wǎng)絡(luò)按網(wǎng)絡(luò)輸入和輸出的數(shù)字形式不同可分為離散型和連續(xù)型兩種網(wǎng)絡(luò),即：離散型Hopfield神經(jīng)網(wǎng)絡(luò)—-DHNN(Discrete Hopfield Neural Network)；連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)—-CHNN(ContinuesHopfield Neural Network)。

DHNN結(jié)構(gòu)：它是一種單層全反饋網(wǎng)絡(luò),共有n個(gè)神經(jīng)元。每個(gè)神經(jīng)元都通過(guò)連接權(quán)接收所有其它神經(jīng)元輸出反饋來(lái)的信息，其目的是為了讓任一神經(jīng)元的輸出能接受所有神經(jīng)元輸出的控制,從而使各神經(jīng)元能相互制約。

DHNN的設(shè)計(jì)原則：吸引子的分布是由網(wǎng)絡(luò)的權(quán)值（包括閥值）決定的，設(shè)計(jì)吸引子的核心就是如何設(shè)計(jì)一組合適的權(quán)值。為了使所設(shè)計(jì)的權(quán)值滿足要求，權(quán)值矩陣應(yīng)符合以下要求：(1)、為保證異步方式工作時(shí)網(wǎng)絡(luò)收斂，W應(yīng)為對(duì)稱陣；(2)、為保證同步方式工作時(shí)網(wǎng)絡(luò)收斂，W應(yīng)為非負(fù)定對(duì)稱陣；(3)、保證給定的樣本是網(wǎng)絡(luò)的吸引子，并且要有一定的吸引域。

具體設(shè)計(jì)時(shí)，可以采用不同的方法：(1)、聯(lián)立方程法；(2)、外積和法。

CHNN：在連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)中，所有神經(jīng)元都隨時(shí)間t并行更新，網(wǎng)絡(luò)狀態(tài)隨時(shí)間連續(xù)改變。

Hopfield網(wǎng)絡(luò)的主要功能

Hopfield神經(jīng)網(wǎng)絡(luò)的提出就是與其實(shí)際應(yīng)用密切相關(guān)。其主要功能在以下兩個(gè)方面。

(1). 聯(lián)想記憶：輸入–輸出模式的各元素之間，并不存在一對(duì)一的映射關(guān)系，輸入–輸出模式的維數(shù)也不要求相同；聯(lián)想記憶時(shí)，只給出輸入模式部分信息，就能聯(lián)想出完整的輸出模式。即具有容錯(cuò)性。

(2). CHNN的優(yōu)化計(jì)算功能.

應(yīng)用Hopfield 神經(jīng)網(wǎng)絡(luò)來(lái)解決優(yōu)化計(jì)算問(wèn)題的一般步驟為：

A. 分析問(wèn)題：網(wǎng)絡(luò)輸出與問(wèn)題的解相對(duì)應(yīng)。

B. 構(gòu)造網(wǎng)絡(luò)能量函數(shù)：構(gòu)造合適的網(wǎng)絡(luò)能量函數(shù)，使其最小值對(duì)應(yīng)問(wèn)題最佳解。

C. 設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)：將能量函數(shù)與標(biāo)準(zhǔn)式相比較，定出權(quán)矩陣與偏置電流。

D. 由網(wǎng)絡(luò)結(jié)構(gòu)建立網(wǎng)絡(luò)的電子線路并運(yùn)行，穩(wěn)態(tài)–優(yōu)化解或計(jì)算機(jī)模擬運(yùn)行。

7.BAM模型

神經(jīng)網(wǎng)絡(luò)的聯(lián)想記憶功能可以分為兩種，一是自聯(lián)想記憶，另一種是異聯(lián)想記憶。Hopfield神經(jīng)網(wǎng)絡(luò)就屬于自聯(lián)想記憶。由Kosko B.1988 年提出的雙向聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)BAM(Bidirectional Associative Memory)屬于異聯(lián)想記憶。BAM有離散型﹑連續(xù)型和自適應(yīng)型等多種形式。

8. CMAC模型

BP神經(jīng)網(wǎng)絡(luò)﹑Hopfield神經(jīng)網(wǎng)絡(luò)和BAM雙向聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)分別屬于前饋和反饋神經(jīng)網(wǎng)絡(luò)，這主要是從網(wǎng)絡(luò)的結(jié)構(gòu)來(lái)劃分的。如果從神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近功能這個(gè)角度來(lái)分，神經(jīng)網(wǎng)絡(luò)可以分為全局逼近網(wǎng)絡(luò)和局部逼近網(wǎng)絡(luò)。當(dāng)神經(jīng)網(wǎng)絡(luò)的一個(gè)或多個(gè)可調(diào)參數(shù)（權(quán)值和閾值）在輸入空間的每一點(diǎn)對(duì)任何一個(gè)輸出都有影響，則稱該神經(jīng)網(wǎng)絡(luò)為全局逼近網(wǎng)絡(luò)，多層前饋BP網(wǎng)絡(luò)是全局逼近網(wǎng)絡(luò)的典型例子。對(duì)于每個(gè)輸入輸出數(shù)據(jù)對(duì)，網(wǎng)絡(luò)的每一個(gè)連接權(quán)均需進(jìn)行調(diào)整，從而導(dǎo)致全局逼近網(wǎng)絡(luò)學(xué)習(xí)速度很慢，對(duì)于有實(shí)時(shí)性要求的應(yīng)用來(lái)說(shuō)常常是不可容忍的。如果對(duì)網(wǎng)絡(luò)輸入空間的某個(gè)局部區(qū)域只有少數(shù)幾個(gè)連接權(quán)影響網(wǎng)絡(luò)輸出，則稱網(wǎng)絡(luò)為局部逼近網(wǎng)絡(luò)。對(duì)于每個(gè)輸入輸出數(shù)據(jù)對(duì)，只有少量的連接權(quán)需要進(jìn)行調(diào)整，從而使局部逼近網(wǎng)絡(luò)具有學(xué)習(xí)速度快的優(yōu)點(diǎn)，這一點(diǎn)對(duì)于有實(shí)時(shí)性要求的應(yīng)用來(lái)說(shuō)至關(guān)重要。目前常用的局部逼近神經(jīng)網(wǎng)絡(luò)有CMAC網(wǎng)絡(luò)、徑向基函數(shù)RBF網(wǎng)絡(luò)和B樣條網(wǎng)絡(luò)等，其結(jié)構(gòu)原理相似。

1975年J.S.Albus提出一種模擬小腦功能的神經(jīng)網(wǎng)絡(luò)模型，稱為Cerebellar Model Articulation Controller，簡(jiǎn)稱CMAC。CMAC網(wǎng)絡(luò)是仿照小腦控制肢體運(yùn)動(dòng)的原理而建立的神經(jīng)網(wǎng)絡(luò)模型。小腦指揮運(yùn)動(dòng)時(shí)具有不假思索地作出條件反射迅速響應(yīng)的特點(diǎn)，這種條件反射式響應(yīng)是一種迅速聯(lián)想。

CMAC 網(wǎng)絡(luò)有三個(gè)特點(diǎn)：

(1). 作為一種具有聯(lián)想功能的神經(jīng)網(wǎng)絡(luò)，它的聯(lián)想具有局部推廣（或稱泛化）能力，因此相似的輸入將產(chǎn)生相似的輸出，遠(yuǎn)離的輸入將產(chǎn)生獨(dú)立的輸出；

(2). 對(duì)于網(wǎng)絡(luò)的每一個(gè)輸出，只有很少的神經(jīng)元所對(duì)應(yīng)的權(quán)值對(duì)其有影響，哪些神經(jīng)元對(duì)輸出有影響則有輸入決定；

(3). CMAC的每個(gè)神經(jīng)元的輸入輸出是一種線性關(guān)系，但其總體上可看做一種表達(dá)非線性映射的表格系統(tǒng)。由于CMAC網(wǎng)絡(luò)的學(xué)習(xí)只在線性映射部分，因此可采用簡(jiǎn)單的δ算法，其收斂速度比BP算法快得多，且不存在局部極小問(wèn)題。CMAC最初主要用來(lái)求解機(jī)械手的關(guān)節(jié)運(yùn)動(dòng)，其后進(jìn)一步用于機(jī)械人控制、模式識(shí)別、信號(hào)處理以及自適應(yīng)控制等領(lǐng)域。

9.RBF模型

對(duì)局部逼近神經(jīng)網(wǎng)絡(luò)，除CMAC神經(jīng)網(wǎng)絡(luò)外，常用的還有徑向基函數(shù)RBF網(wǎng)絡(luò)和B樣條網(wǎng)絡(luò)等。徑向基函數(shù)（RBF，Radial Basis Function）神經(jīng)網(wǎng)絡(luò)，是由J.Moody 和C.Darken于20世紀(jì)80年代末提出的一種神經(jīng)網(wǎng)絡(luò)，徑向基函數(shù)方法在某種程度上利用了多維空間中傳統(tǒng)的嚴(yán)格插值法的研究成果。在神經(jīng)網(wǎng)絡(luò)的背景下，隱藏單元提供一個(gè)“函數(shù)”集，該函數(shù)集在輸入模式向量擴(kuò)展至隱層空間時(shí)為其構(gòu)建了一個(gè)任意的“基”；這個(gè)函數(shù)集中的函數(shù)就被稱為徑向基函數(shù)。徑向基函數(shù)首先是在實(shí)多變量插值問(wèn)題的解中引入的。徑向基函數(shù)是目前數(shù)值分析研究中的一個(gè)主要領(lǐng)域之一。

最基本的徑向基函數(shù)（RBF）神經(jīng)網(wǎng)絡(luò)的構(gòu)成包括三層，其中每一層都有著完全不同的作用。輸入層由一些感知單元組成，它們將網(wǎng)絡(luò)與外界環(huán)境連接起來(lái)；第二層是網(wǎng)絡(luò)中僅有的一個(gè)隱層，它的作用是從輸入空間到隱層空間之間進(jìn)行非線性變換，在大多數(shù)情況下，隱層空間有較高的維數(shù)；輸出層是線性的，它為作用于輸入層的激活模式提供響應(yīng)。

基本的徑向基函數(shù)RBF網(wǎng)絡(luò)是具有單穩(wěn)層的三層前饋網(wǎng)絡(luò)。由于它模擬了人腦中局部調(diào)整、相互覆蓋接受域（或稱感受域，Receptive Field）的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，因此，RBF網(wǎng)絡(luò)是一種局部逼近網(wǎng)絡(luò)，現(xiàn)已證明它能以任意精度逼近任一連續(xù)函數(shù).

RBF網(wǎng)絡(luò)的常規(guī)學(xué)習(xí)算法，一般包括兩個(gè)不同的階段：

(1). 隱層徑向基函數(shù)的中心的確定階段。常見(jiàn)方法有隨機(jī)選取固定中心法；中心的自組織選擇法等。

(2). 徑向基函數(shù)權(quán)值學(xué)習(xí)調(diào)整階段。常見(jiàn)方法有中心的監(jiān)督選擇法；正則化嚴(yán)格插值法等。

10.SOM模型

芬蘭Helsink大學(xué)Kohonen T.教授提出一種自組織特征映射網(wǎng)絡(luò)SOM(Self-organizing feature Map)，又稱Kohonen網(wǎng)絡(luò)。Kohonen認(rèn)為，一個(gè)神經(jīng)網(wǎng)絡(luò)接受外界輸入模式時(shí)，將會(huì)分為不同的對(duì)應(yīng)區(qū)域，各區(qū)域?qū)斎肽Ｊ接胁煌捻憫?yīng)特征，而這個(gè)過(guò)程是自動(dòng)完成的。SOM網(wǎng)絡(luò)正是根據(jù)這一看法提出的，其特點(diǎn)與人腦的自組織特性相類似。

自組織神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

(1). 定義：自組織神經(jīng)網(wǎng)絡(luò)是無(wú)導(dǎo)師學(xué)習(xí)網(wǎng)絡(luò)。它通過(guò)自動(dòng)尋找樣本中的內(nèi)在規(guī)律和本質(zhì)屬性，自組織、自適應(yīng)地改變網(wǎng)絡(luò)參數(shù)與結(jié)構(gòu)。

(2). 結(jié)構(gòu)：層次型結(jié)構(gòu)，具有競(jìng)爭(zhēng)層。典型結(jié)構(gòu)：輸入層＋競(jìng)爭(zhēng)層。

輸入層：接受外界信息，將輸入模式向競(jìng)爭(zhēng)層傳遞，起“觀察”作用。

競(jìng)爭(zhēng)層：負(fù)責(zé)對(duì)輸入模式進(jìn)行“分析比較，尋找規(guī)律，并歸類。

自組織神經(jīng)網(wǎng)絡(luò)的原理

(1). 分類與輸入模式的相似性：分類是在類別知識(shí)等導(dǎo)師信號(hào)的指導(dǎo)下，將待識(shí)別的輸入模式分配到各自的模式類中，無(wú)導(dǎo)師指導(dǎo)的分類稱為聚類，聚類的目的是將相似的模式樣本劃歸一類，而將不相似的分離開來(lái)，實(shí)現(xiàn)模式樣本的類內(nèi)相似性和類間分離性。由于無(wú)導(dǎo)師學(xué)習(xí)的訓(xùn)練樣本中不含期望輸出，因此對(duì)于某一輸入模式樣本應(yīng)屬于哪一類并沒(méi)有任何先驗(yàn)知識(shí)。對(duì)于一組輸入模式，只能根據(jù)它們之間的相似程度來(lái)分為若干類，因此，相似性是輸入模式的聚類依據(jù)。

(2). 相似性測(cè)量：神經(jīng)網(wǎng)絡(luò)的輸入模式向量的相似性測(cè)量可用向量之間的距離來(lái)衡量。常用的方法有歐氏距離法和余弦法兩種。

(3). 競(jìng)爭(zhēng)學(xué)習(xí)原理:競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則的生理學(xué)基礎(chǔ)是神經(jīng)細(xì)胞的側(cè)抑制現(xiàn)象：當(dāng)一個(gè)神經(jīng)細(xì)胞興奮后，會(huì)對(duì)其周圍的神經(jīng)細(xì)胞產(chǎn)生抑制作用。最強(qiáng)的抑制作用是競(jìng)爭(zhēng)獲勝的“唯我獨(dú)興”，這種做法稱為“勝者為王”，（Winner-Take-All）。競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則就是從神經(jīng)細(xì)胞的側(cè)抑制現(xiàn)象獲得的。它的學(xué)習(xí)步驟為：A、向量歸一化；B、尋找獲勝神經(jīng)元；C、網(wǎng)絡(luò)輸出與權(quán)調(diào)整；D、重新歸一化處理。

SOM網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)：SOM網(wǎng)絡(luò)共有兩層。即：輸入層和輸出層。

(1). 輸入層：通過(guò)權(quán)向量將外界信息匯集到輸出層各神經(jīng)元。輸入層的形式與BP網(wǎng)相同，節(jié)點(diǎn)數(shù)與樣本維數(shù)相同。

(2). 輸出層：輸出層也是競(jìng)爭(zhēng)層。其神經(jīng)元的排列有多種形式。分為一維線陣,二維平面陣和三維柵格陣。最典型的結(jié)構(gòu)是二維形式。它更具大腦皮層的形象。

輸出層的每個(gè)神經(jīng)元同它周圍的其他神經(jīng)元側(cè)向連接，排列成棋盤狀平面；輸入層為單層神經(jīng)元排列。

SOM權(quán)值調(diào)整域

SOM網(wǎng)采用的算法，稱為Kohonen算法，它是在勝者為王WTA(Winner-Take-All)學(xué)習(xí)規(guī)則基礎(chǔ)上加以改進(jìn)的，主要區(qū)別是調(diào)整權(quán)向量與側(cè)抑制的方式不同：WTA：側(cè)抑制是“封殺”式的。只有獲勝神經(jīng)元可以調(diào)整其權(quán)值，其他神經(jīng)元都無(wú)權(quán)調(diào)整。Kohonen算法：獲勝神經(jīng)元對(duì)其鄰近神經(jīng)元的影響是由近及遠(yuǎn)，由興奮逐漸變?yōu)橐种?。換句話說(shuō)，不僅獲勝神經(jīng)元要調(diào)整權(quán)值，它周圍神經(jīng)元也要不同程度調(diào)整權(quán)向量。

SOM網(wǎng)絡(luò)運(yùn)行原理

SOM網(wǎng)絡(luò)的運(yùn)行分訓(xùn)練和工作兩個(gè)階段。在訓(xùn)練階段，網(wǎng)絡(luò)隨機(jī)輸入訓(xùn)練集中的樣本，對(duì)某個(gè)特定的輸入模式，輸出層會(huì)有某個(gè)節(jié)點(diǎn)產(chǎn)生最大響應(yīng)而獲勝，而在訓(xùn)練開始階段，輸出層哪個(gè)位置的節(jié)點(diǎn)將對(duì)哪類輸入模式產(chǎn)生最大響應(yīng)是不確定的。當(dāng)輸入模式的類別改變時(shí)，二維平面的獲勝節(jié)點(diǎn)也會(huì)改變。獲勝節(jié)點(diǎn)周圍的節(jié)點(diǎn)因側(cè)向相互興奮作用也產(chǎn)生較大影響，于是獲勝節(jié)點(diǎn)及其優(yōu)勝鄰域內(nèi)的所有節(jié)點(diǎn)所連接的權(quán)向量均向輸入方向作不同程度的調(diào)整，調(diào)整力度依鄰域內(nèi)各節(jié)點(diǎn)距離獲勝節(jié)點(diǎn)的遠(yuǎn)近而逐漸減小。網(wǎng)絡(luò)通過(guò)自組織方式，用大量訓(xùn)練樣本調(diào)整網(wǎng)絡(luò)權(quán)值，最后使輸出層各節(jié)點(diǎn)成為對(duì)特定模式類敏感的神經(jīng)元，對(duì)應(yīng)的內(nèi)星權(quán)向量成為各輸入模式的中心向量。并且當(dāng)兩個(gè)模式類的特征接近時(shí)，代表這兩類的節(jié)點(diǎn)在位置上也接近。從而在輸出層形成能反應(yīng)樣本模式類分布情況的有序特征圖。

11. CPN模型

1987年美國(guó)學(xué)者RobertHecht —Nielson提出了對(duì)偶傳播神經(jīng)網(wǎng)絡(luò)(Counter–propagation Networks，簡(jiǎn)記為CPN)。CPN最早是用來(lái)實(shí)現(xiàn)樣本選擇匹配系統(tǒng)的。它能存儲(chǔ)二進(jìn)制或模擬值的模式對(duì)，因此CPN網(wǎng)絡(luò)可以用作聯(lián)想存儲(chǔ)﹑模式分類﹑函數(shù)逼近和數(shù)據(jù)壓縮等用途。與BP網(wǎng)相比，CPN的訓(xùn)練速度要快很多，所需的時(shí)間大約是BP網(wǎng)所需時(shí)間的1％。但是，它的應(yīng)用面卻因網(wǎng)絡(luò)的性能相對(duì)來(lái)說(shuō)比較窄。

從網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)來(lái)看，CPN與BP網(wǎng)類似，CPN是一個(gè)三層的神經(jīng)網(wǎng)絡(luò)，只不過(guò)這競(jìng)爭(zhēng)層和輸出層執(zhí)行的訓(xùn)練算法是不同的。所以，稱CPN 是一個(gè)異構(gòu)網(wǎng)。與同構(gòu)網(wǎng)相比，網(wǎng)絡(luò)的異構(gòu)性使它更接近于人腦。在人腦中存在有各種特殊的模塊，它們使用完成不同的運(yùn)算。例如，在聽(tīng)覺(jué)通道的每一層，其神經(jīng)元與神經(jīng)纖維在結(jié)構(gòu)上的排列與頻率的關(guān)系十分密切，對(duì)某一些頻率，其中某些相應(yīng)的神經(jīng)元會(huì)獲得最大的響應(yīng)。這種聽(tīng)覺(jué)通道上的神經(jīng)元的有序排列一直延續(xù)到聽(tīng)覺(jué)皮層。盡管許多低層次上的神經(jīng)元是預(yù)先排列好的，但高層次上的神經(jīng)元的組織則是通過(guò)學(xué)習(xí)自組織形成的。

在RobertHecht—Nielson提出的CPN神經(jīng)網(wǎng)絡(luò)中，其競(jìng)爭(zhēng)層和輸出層分別執(zhí)行較早些時(shí)候出現(xiàn)的兩個(gè)著名算法：即Kohonen l981年提出的自組織映射SOM算法和Grossberg l969年提出的外星(Outstar)算法。人們將執(zhí)行自組織映射的層稱為Kohonen層，執(zhí)行外星算法的層則被稱為Grossberg層。按這種方法將這兩種算法組合在一起后所獲得的網(wǎng)絡(luò)，不僅提供了一種設(shè)計(jì)多級(jí)網(wǎng)訓(xùn)練算法的思路，解決了多級(jí)網(wǎng)絡(luò)的訓(xùn)練問(wèn)題，突破了單極網(wǎng)的限制，而且還使得網(wǎng)絡(luò)具有了許多新的特點(diǎn)。多級(jí)網(wǎng)絡(luò)的訓(xùn)練問(wèn)題主要是在解決隱藏層神經(jīng)元相應(yīng)的聯(lián)接權(quán)調(diào)整時(shí)，需要通過(guò)隱藏層神經(jīng)元的理想輸出來(lái)實(shí)現(xiàn)相關(guān)誤差的估計(jì)。然而，它們對(duì)應(yīng)的理想輸出又是未知的。在無(wú)導(dǎo)師訓(xùn)練中是不需要知道理想輸出的，因此可以考慮讓網(wǎng)絡(luò)的隱藏層執(zhí)行無(wú)導(dǎo)師學(xué)習(xí)。這是解決多級(jí)網(wǎng)絡(luò)訓(xùn)練的另一個(gè)思路。實(shí)際上，CPN就是將無(wú)導(dǎo)師訓(xùn)練算法與有導(dǎo)師訓(xùn)練算法結(jié)合在一起，用無(wú)導(dǎo)師訓(xùn)練解決網(wǎng)絡(luò)隱藏層的理想輸出未知的問(wèn)題，用有導(dǎo)師訓(xùn)練解決輸出層按系統(tǒng)的要求給出指定的輸出結(jié)果的問(wèn)題。

Kohonen提出的自組織映射由四部分組成，包括一個(gè)神經(jīng)元陣列(用它構(gòu)成CPN的Kohonen層)，一種比較選擇機(jī)制，一個(gè)局部互聯(lián)，一個(gè)自適應(yīng)過(guò)程。實(shí)際上，這一層將實(shí)現(xiàn)對(duì)輸入進(jìn)行分類的功能。所以，該層可以執(zhí)行無(wú)導(dǎo)師的學(xué)習(xí)，以完成對(duì)樣本集中所含的分類信息的提取。

Grossberg層主要用來(lái)實(shí)現(xiàn)類表示。由于相應(yīng)的類應(yīng)該是用戶所要求的，所以，對(duì)應(yīng)每—個(gè)輸入向量，用戶明確地知道它對(duì)應(yīng)的理想輸出向量，故該層將執(zhí)行有導(dǎo)師的訓(xùn)練。兩層的有機(jī)結(jié)合，就構(gòu)成—個(gè)映射系統(tǒng)。所以，有人將CPN 看成一個(gè)有能力進(jìn)行一定的推廣的查找表(Look—up table)。它的訓(xùn)練過(guò)程就是將輸入向量與相應(yīng)的輸出向量對(duì)應(yīng)起來(lái)。這些向量可以是二值的，也可以是連續(xù)的。一旦網(wǎng)絡(luò)完成了訓(xùn)練，對(duì)一個(gè)給定的輸入就可以給出一個(gè)對(duì)應(yīng)的輸出。網(wǎng)絡(luò)的推廣能力表明，當(dāng)網(wǎng)絡(luò)遇到一個(gè)不太完整的、或者是不完全正確的輸入時(shí)，只要該“噪音”是在有限的范圍內(nèi)，CPN 都可以產(chǎn)生一個(gè)正確的輸出。這是因?yàn)镵ohonen 層可以找到這個(gè)含有噪音的輸入應(yīng)該屬于的分類，而對(duì)應(yīng)的Grossberg層則可以給出該分類的表示。從整個(gè)網(wǎng)絡(luò)來(lái)看，就表現(xiàn)出一種泛化能力。這使得網(wǎng)絡(luò)在模式識(shí)別、模式完善、信號(hào)處理等方面可以有較好的應(yīng)用。另外，上述映射的逆映射如果存在的話，可以通過(guò)對(duì)此網(wǎng)的簡(jiǎn)單擴(kuò)展，來(lái)實(shí)現(xiàn)相應(yīng)的逆變換。這被稱為全對(duì)傳網(wǎng)。

12.ART模型

在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中，當(dāng)網(wǎng)絡(luò)規(guī)模給定后，由權(quán)矩陣所能記憶的模式類別信息量總是有限的，新輸入的模式樣本必然會(huì)對(duì)已經(jīng)記憶的模式樣本產(chǎn)生抵消或遺忘，從而使網(wǎng)絡(luò)的分類能力受到影響?？繜o(wú)限擴(kuò)大網(wǎng)絡(luò)規(guī)模解決上述問(wèn)題是不現(xiàn)實(shí)的。如何保證在適當(dāng)增加網(wǎng)絡(luò)規(guī)模的同時(shí)，在過(guò)去記憶的模式和新輸入的訓(xùn)練模式之間作出某種折中，既能最大限度地接收新的模式信息，同時(shí)又能保證較少地影響過(guò)去的樣本模式呢？ ART網(wǎng)絡(luò)在一定程度上能較好解決此問(wèn)題。

1976年，美國(guó)Boston大學(xué)CarpenterG.A.教授提出了自適應(yīng)共振理論ART(Adaptive Resonance Theory)。隨后Carpenter G.A.又與他的學(xué)生GrossbergS.合作提出了ART神經(jīng)網(wǎng)絡(luò)。

經(jīng)過(guò)多年的研究和發(fā)展，ART 網(wǎng)絡(luò)已有幾種基本形式：

(1). ART1型神經(jīng)網(wǎng)絡(luò)：處理雙極性和二進(jìn)制信號(hào)；

(2). ART2型神經(jīng)網(wǎng)絡(luò)：它是ART1型的擴(kuò)展，用于處理連續(xù)型模擬信號(hào)；

(3). ART綜合系統(tǒng)：將ART1和ART2綜合在一起，系統(tǒng)具有識(shí)別﹑補(bǔ)充和撤消等綜合功能。即所謂的3R（Recognition﹑Reinforcement﹑Recall）功能。

(4). ART3型神經(jīng)網(wǎng)絡(luò)：它是一種分級(jí)搜索模型，兼容前兩種結(jié)構(gòu)的功能并將兩層神經(jīng)網(wǎng)絡(luò)擴(kuò)大為任意多層神經(jīng)元網(wǎng)絡(luò)，由于ART3型在神經(jīng)元的模型中納入了生物神經(jīng)元的生物電－化學(xué)反應(yīng)機(jī)制，因而它具備了很強(qiáng)的功能和擴(kuò)展能力。

13.量子神經(jīng)網(wǎng)絡(luò)

量子神經(jīng)網(wǎng)絡(luò)的概念出現(xiàn)于上個(gè)世紀(jì)90年代后期，一經(jīng)提出后便引起了不同領(lǐng)域的科學(xué)家的關(guān)注，人們?cè)谶@個(gè)嶄新的領(lǐng)域進(jìn)行了不同方向的探索，提出了很多想法和初步的模型，充分體現(xiàn)了量子神經(jīng)網(wǎng)絡(luò)研究的巨大潛力。主要研究方向可以概括為：

(1). 量子神經(jīng)網(wǎng)絡(luò)采用神經(jīng)網(wǎng)絡(luò)的連接思想來(lái)構(gòu)造量子計(jì)算機(jī)，通過(guò)神經(jīng)網(wǎng)絡(luò)模型來(lái)研究量子計(jì)算中的問(wèn)題；

(2). 量子神經(jīng)網(wǎng)絡(luò)在量子計(jì)算機(jī)或量子器件的基礎(chǔ)上構(gòu)造神經(jīng)網(wǎng)絡(luò)，充分利用量子計(jì)算超高速、超并行、指數(shù)級(jí)容量的特點(diǎn)，來(lái)改進(jìn)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和性能；

(3). 量子神經(jīng)網(wǎng)絡(luò)作為一種混合的智能優(yōu)化算法在傳統(tǒng)的計(jì)算機(jī)上的實(shí)現(xiàn)，通過(guò)引入量子理論中的思想對(duì)傳統(tǒng)神經(jīng)網(wǎng)絡(luò)改進(jìn)，利用量子理論中的概念、方法(如態(tài)疊加、“多宇宙”觀點(diǎn)等)，建立新的網(wǎng)絡(luò)模型；改善傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和性能；

(4). 基于腦科學(xué)、認(rèn)知科學(xué)的研究。

以上整理的內(nèi)容主要摘自：

1.《人工神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用》，2006，科學(xué)出版社

2.《神經(jīng)網(wǎng)絡(luò)郵件分類算法研究》，2011，碩論，電子科技大學(xué)

3.《人工神經(jīng)網(wǎng)絡(luò)原理、分類及應(yīng)用》，2014，期刊，科技資訊

關(guān)于BP神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)可以參考：BP神經(jīng)網(wǎng)絡(luò)公式推導(dǎo)及實(shí)現(xiàn)(MNIST)_網(wǎng)絡(luò)資源是無(wú)限的-CSDN博客

GitHub：GitHub – fengbingchun/NN_Test: This project contains some neural network code

總結(jié)

以上是生活随笔為你收集整理的人工神经网络简介(人工智能神经网络技术)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。