?

數(shù)字神經(jīng)網(wǎng)絡(luò)系統(tǒng)

第一篇 基礎(chǔ)理論

一、 概述

二、生物原型研究

2-1.人體神經(jīng)結(jié)構(gòu)

人工數(shù)字神經(jīng)網(wǎng)絡(luò)系統(tǒng)源于人腦神經(jīng)網(wǎng)絡(luò)。了解人腦神經(jīng)網(wǎng)絡(luò)的組成和原理，有助于對(duì)人工神經(jīng)網(wǎng)絡(luò)的理解。

2-1-1.神經(jīng)元

人腦是認(rèn)識(shí)客觀世界的器官。研究表明，人的意識(shí)、思維、行為等腦的高級(jí)功能都與客觀世界密切相關(guān)。神經(jīng)科學(xué)起始于上個(gè)世紀(jì)末，1875年意大利解剖學(xué)家C.Golgi用染色體法首先識(shí)別出單個(gè)神經(jīng)細(xì)胞，1889年Caial創(chuàng)立了神經(jīng)元學(xué)說(shuō)，指出了神經(jīng)系統(tǒng)是由結(jié)構(gòu)上相對(duì)獨(dú)立的神經(jīng)細(xì)胞構(gòu)成，在最近幾十年來(lái)的研究結(jié)果認(rèn)為人腦的神經(jīng)元效量為1013。每個(gè)神經(jīng)元包含了以下幾個(gè)結(jié)構(gòu)特性：

2-1-1-1. 細(xì)胞體(Cell Body)，其大小在5至100微米的直徑不等。細(xì)胞體由細(xì)胞核，細(xì)胞質(zhì)和細(xì)胞膜組成。

2-1-1-2. 鈾突(Axon)，是細(xì)胞體向其它細(xì)胞伸出的最長(zhǎng)一條分支，即神經(jīng)纖維，相當(dāng)于細(xì)胞的輸出，每個(gè)神經(jīng)元只有一個(gè)。

2-1-1-3. 樹(shù)突(也稱枝晶，Dendrites)，是細(xì)胞體向外伸出的許多較短的樹(shù)狀分支，相當(dāng)于細(xì)胞的輸入。

2-1-1-4. 突觸(Synaptic)，是神經(jīng)元之間連接的接口。整個(gè)腦內(nèi)突觸的數(shù)目大約在1014一1015之間，通過(guò)突觸互連，連接方式不同，其生理作用也不同。突觸的信息傳遞特性可變，因此細(xì)胞之間的連接強(qiáng)度可變，這是一種柔性連接，也稱為神經(jīng)元結(jié)構(gòu)的可塑性。

另外，研究表明，神經(jīng)元細(xì)胞膜內(nèi)外之間存在電位差，稱為膜電位。膜外為正，膜內(nèi)為負(fù)。其大小約為幾十微伏。膜電壓接受神經(jīng)其它神經(jīng)元的輸入后，電位上升或下降，當(dāng)轉(zhuǎn)入沖動(dòng)的時(shí)空整合結(jié)果，使膜電位上升，而且當(dāng)超過(guò)叫做動(dòng)作電位的團(tuán)值時(shí)，細(xì)胞進(jìn)入興奮狀態(tài)，產(chǎn)生神經(jīng)沖動(dòng)，由軸突輸出，這個(gè)過(guò)程稱為興奮。動(dòng)作閡值電位約為40微伏13傳入的沖動(dòng)時(shí)空整合結(jié)果使膜電壓下降并低于動(dòng)作電壓的聞值時(shí)，細(xì)胞進(jìn)入抑制狀態(tài)，無(wú)神經(jīng)沖動(dòng)輸出。

2-1-2.信息傳遞

突觸是神經(jīng)細(xì)胞間傳遞信息的結(jié)構(gòu)，突觸由三部分構(gòu)成，即突觸前成分，突觸間隙和突觸后成分。突觸所傳遞的信息采用電傳遞和化學(xué)傳遞兩種方式。突觸前成分是神經(jīng)末梢上一個(gè)特化了的部分。突觸末梢形成許多球形的小體。小體上直接進(jìn)入突觸連接部分的質(zhì)膜叫做突觸前膜。小體原漿中含有大量的突觸小泡，小泡的直徑約為200--800埃，內(nèi)含神經(jīng)遞質(zhì)。突觸前膜外面是突觸間隙，是突觸前后之間的一個(gè)區(qū)域，其寬度為100-500埃。突觸間隙的液體與細(xì)胞外液體是連通的，因此具有相同的離子組成。突觸后細(xì)胞的一邊是突觸下膜，它是突觸后細(xì)胞質(zhì)膜特化的區(qū)域，含有待殊的分子受體。突觸的結(jié)構(gòu)示圖和突軸信息傳遞過(guò)程。

高等動(dòng)物神經(jīng)系統(tǒng)中，突觸前的電活動(dòng)不直接引起突觸后成分的活動(dòng)，不存在電學(xué)耦連。突觸傳遞一般通過(guò)持殊的化學(xué)物質(zhì)中介，這種物質(zhì)叫做神經(jīng)介質(zhì)或遞質(zhì)，突觸的信息傳遞只能由突觸前到突觸后，不存在反向活動(dòng)的機(jī)制。因此突觸傳遞是單方向的。興奮一分泌耦連，神經(jīng)介質(zhì)釋放和介質(zhì)在間隙的擴(kuò)散直到突觸后膜的去極化約需o。5-1毫秒，這就是突延遲。用微電極技術(shù)研究脊髓前角細(xì)胞的模電位。根據(jù)突觸后電位的反應(yīng)，將突觸分為兩種：興奮性突觸和抑制性突觸。神經(jīng)末梢釋放介質(zhì)使突觸后膜產(chǎn)生極化反應(yīng)，即興奮性突觸后電位，這是興奮性突觸。如果釋放介質(zhì)使突觸后膜產(chǎn)生超極化反應(yīng)，即抑制性突觸后電位，則是抑制性突觸。在許多可興奮的細(xì)胞之間發(fā)現(xiàn)電學(xué)期連。現(xiàn)已證明，縫隙連接在形態(tài)上代表這種耦連。電學(xué)突觸能夠提供更大的傳輸速率，并在神經(jīng)細(xì)胞間產(chǎn)生整合作用。

另外研究也表明了神經(jīng)網(wǎng)絡(luò)的復(fù)雜多樣性，不僅在于神經(jīng)元和突觸的數(shù)量大，組合方式復(fù)雜和聯(lián)系廣泛，還在于突觸傳遞機(jī)制中，釋放神經(jīng)遞質(zhì)是實(shí)現(xiàn)突觸傳遞機(jī)制的中心環(huán)節(jié)，不同的神經(jīng)遞質(zhì)有著不同的作用性質(zhì)和特點(diǎn)。神經(jīng)遞質(zhì)在維持正常生理功能方面起著重要的作用，通過(guò)電信號(hào)-化學(xué)反應(yīng)信號(hào)系統(tǒng)傳遞神經(jīng)信息，進(jìn)行復(fù)雜的信息加工，實(shí)現(xiàn)對(duì)機(jī)體的調(diào)節(jié)控制。

2-2. 神經(jīng)組織

神經(jīng)元與神經(jīng)纖維構(gòu)成的神經(jīng)組織具有兩種基本特性，即興奮與傳導(dǎo)。當(dāng)神經(jīng)元的某一部分受到某種刺激時(shí)，在受刺激的部位就產(chǎn)生興奮。這種興奮會(huì)沿著神經(jīng)元擴(kuò)散開(kāi)來(lái)，并在一定的條件下通過(guò)突觸傳達(dá)到相連的神經(jīng)細(xì)胞。神經(jīng)纖維的一部分興奮起來(lái)時(shí)產(chǎn)生電位或電流的變化。這就是生物電流，是研究神經(jīng)興奮狀態(tài)的標(biāo)志。電位的變化非常迅速且短暫，叫做峰形電位。神經(jīng)興奮的結(jié)果產(chǎn)生神經(jīng)沖動(dòng)，神經(jīng)沖動(dòng)是能量傳遞的一種方式。通常，一條神經(jīng)纖維接受一個(gè)適度的刺激時(shí)測(cè)會(huì)產(chǎn)生一個(gè)沖動(dòng)。但當(dāng)對(duì)一個(gè)神經(jīng)來(lái)進(jìn)行刺激時(shí)，則會(huì)引起若干纖維同時(shí)沖動(dòng)。刺激越強(qiáng)，則發(fā)生沖動(dòng)的神經(jīng)纖維越多，反之亦然。實(shí)驗(yàn)表明，神經(jīng)沖動(dòng)的能量并非來(lái)自刺激。而是神經(jīng)纖維本身產(chǎn)生的。刺激的作用是引發(fā)神經(jīng)纖維產(chǎn)生沖動(dòng)。

對(duì)于人體來(lái)說(shuō)，在外界、內(nèi)界環(huán)境刺激下，通過(guò)神經(jīng)系統(tǒng)，機(jī)體對(duì)刺激產(chǎn)生規(guī)律性回答。外部和內(nèi)部刺激物作用于感受器，引起神經(jīng)沖動(dòng)。神經(jīng)沖動(dòng)沿著傳入神經(jīng)傳達(dá)到神經(jīng)中樞。通過(guò)中樞的神經(jīng)聯(lián)系，再經(jīng)傳出神經(jīng)傳達(dá)到效應(yīng)器官，引起反應(yīng)。這就是一個(gè)完整的反射過(guò)程。產(chǎn)生反射活動(dòng)的基本結(jié)構(gòu)組成有感受器，傳入神經(jīng)，神經(jīng)中樞，傳出神經(jīng)和效應(yīng)器。感受器一艙是神經(jīng)組織末梢的特殊結(jié)構(gòu)，它把刺激的能量轉(zhuǎn)變?yōu)樯窠?jīng)的興奮過(guò)程，所以感受器是一種換能裝置。

某一特定的反射往往是在刺激特定的感受器后產(chǎn)生的，該特定感受器所在的部位成為這個(gè)感受器的感受野。神經(jīng)中樞是指調(diào)節(jié)某一特定生理機(jī)能的神經(jīng)細(xì)胞群。神經(jīng)中樞的活動(dòng)可以通過(guò)神經(jīng)纖維直接影響效應(yīng)器，在某些情況下，也可以通過(guò)體液的道路間接影響效應(yīng)器，這種體液調(diào)節(jié)就是指內(nèi)分泌腺的調(diào)節(jié)。這時(shí)反射是按感受器、傳入神經(jīng)、神經(jīng)中樞、傳出神經(jīng)、內(nèi)分泌腺、激素在血液中轉(zhuǎn)運(yùn)、效應(yīng)器這樣的過(guò)程進(jìn)行。

反射可以分為兩種：無(wú)條件反射和條件反射。無(wú)條件反射是先天性的，一定刺激作用于一定的感受野時(shí)。常引起一定的反射。例如，食物入口引起唾液分泌反射，機(jī)械刺激角膜產(chǎn)生眨眼反射等。無(wú)條件反射使人們能初步適應(yīng)環(huán)境。條件反射是在機(jī)體的生活中形成的，它可以隨著機(jī)體的外部環(huán)境和內(nèi)部狀況的變化而變化。條件反射的建立大大擴(kuò)展了機(jī)體的反應(yīng)范圍。比無(wú)條件反射有更大的預(yù)見(jiàn)性和靈活性，更適應(yīng)于復(fù)雜變化的生存環(huán)境。在實(shí)際活動(dòng)中，無(wú)條件反射和條件反射的劃分有相對(duì)的意義，肌體的每一活動(dòng)都具有這兩種反射的性質(zhì)。在肌體內(nèi)。無(wú)條件反射只有在新生時(shí)出現(xiàn)，在這以后由于條件反射不斷建立，條件反射和無(wú)條件反射越來(lái)越不可分割地融合在一起。每次無(wú)條件反射出現(xiàn)，都有條件反射參與，而條件反射歸根到底是在無(wú)條件反射的基礎(chǔ)上建立的，它的構(gòu)成已經(jīng)把某些無(wú)條件反射的成分包括了進(jìn)去。所以，幾乎所有的生理機(jī)能都是無(wú)條件反射相條件反射的有機(jī)統(tǒng)一。

2-3. 視覺(jué)神經(jīng)

眼是人接收來(lái)自外部信息的最主要的接收器官，是最為復(fù)雜的感官器官。外界物體的光線射入眼中，聚焦后在視網(wǎng)膜上成像，視網(wǎng)膜發(fā)出神經(jīng)沖動(dòng)達(dá)到大腦皮層視區(qū)，產(chǎn)生視覺(jué)。人眼的簡(jiǎn)要水平切面如圖所示。角膜與晶狀體之間是前房，虹膜與晶狀體之間是后房，前房、后房之間都充滿液體叫房水。晶狀體的后方直到視網(wǎng)膜充滿透明的膠狀物質(zhì)，叫玻璃體。角膜，房水與晶狀體等構(gòu)成折光系統(tǒng)，它是透明的組織，能把物像形成在視網(wǎng)膜上。在所有的感官系統(tǒng)中，視網(wǎng)膜的結(jié)構(gòu)最復(fù)雜。視網(wǎng)膜為感光系統(tǒng)，能感受光的刺激，發(fā)放神經(jīng)沖動(dòng)。它不僅有一級(jí)神經(jīng)元(感光細(xì)胞)，還有二級(jí)神經(jīng)元(雙極細(xì)胞)和三級(jí)神經(jīng)無(wú)(神經(jīng)節(jié)細(xì)胞)。

感光細(xì)胞有兩種，視桿和視錐細(xì)胞。二者都與雙極細(xì)胞形成突觸聯(lián)系。雙極細(xì)胞外端與視桿細(xì)胞和視錐細(xì)胞相連，內(nèi)端與神經(jīng)節(jié)細(xì)胞相接。感光細(xì)胞的分布是不均勻的，視錐細(xì)胞分布在視網(wǎng)膜的中央凹部分。前視桿細(xì)胞則分布在視網(wǎng)膜的比較邊緣部分。在視神經(jīng)進(jìn)入的地方?jīng)]有感受細(xì)胞，形成盲點(diǎn)。視桿細(xì)胞的特點(diǎn)是對(duì)弱光有高度的感受性，因而是夜視覺(jué)的器官。視錐細(xì)胞對(duì)光的強(qiáng)度有較弱的感受性，因而是晝視覺(jué)的器官。視桿細(xì)胞中含有夜視覺(jué)所必須的視紫紅質(zhì)。視錐細(xì)胞中含有晝視覺(jué)所必須的視紫質(zhì)。視錐細(xì)胞可以感受和分辨顏色。

視神經(jīng)是由成柬的神經(jīng)節(jié)細(xì)胞的軸突組成，來(lái)自兩側(cè)的視神經(jīng)在腦下垂體前方會(huì)合成視交叉。在這里組成每一根視神經(jīng)的神經(jīng)纖維束在進(jìn)一步進(jìn)入腦部之前被重新分組。從視神經(jīng)交叉再發(fā)出的神經(jīng)束叫作視束。在重新分組時(shí)，來(lái)自兩眼視網(wǎng)膜右側(cè)的纖維合成一束傳向腦的右半部．來(lái)自兩眼視網(wǎng)膜左側(cè)的纖維合成另一束傳向腦的左半部(如圖所示)。

這兩束經(jīng)過(guò)改組的纖維視柬繼續(xù)向腦內(nèi)行進(jìn)，大部分終止于丘腦的兩個(gè)被分成外側(cè)膝狀體的神經(jīng)核。外腺體的細(xì)胞主要有兩類，投射細(xì)胞相中間神經(jīng)元。外膝體完成輸入信息處理上的第一次分離，然后傳送到大腦的第一視區(qū)和第二視區(qū)。外膝體屬丘腦，是眼到視皮層的中繼站。這就是視覺(jué)通路。視網(wǎng)膜上的光感受細(xì)胞通過(guò)光化學(xué)反應(yīng)和光生物化學(xué)反應(yīng)，產(chǎn)生光感受器電位和神經(jīng)脈沖，在視網(wǎng)膜上沿垂直和水平兩個(gè)方向傳遞信息。這樣的信息沿著視覺(jué)通路進(jìn)行傳播。視覺(jué)信號(hào)按連續(xù)步驟進(jìn)行加工．發(fā)生在每一水平的轉(zhuǎn)變相整合。從神經(jīng)感受野可以作出員完善的分析。中樞神經(jīng)元的感受野是指能影響某一視神經(jīng)元反應(yīng)的視網(wǎng)膜或視野的區(qū)域。每個(gè)視皮層，外側(cè)膝狀體的神經(jīng)元或視網(wǎng)膜神經(jīng)細(xì)胞節(jié)細(xì)胞在視網(wǎng)膜上均有其特定的感受野，視網(wǎng)膜上神經(jīng)細(xì)胞的感受野都是同心圓。可分為開(kāi)中心圓型和閉中心圓型兩類。外側(cè)膝狀體的神經(jīng)元的感受野與神饅節(jié)細(xì)胞相似。皮層神經(jīng)無(wú)的感受野至少可分為三種類型：簡(jiǎn)單型、復(fù)雜型、超復(fù)雜型。

HubeL相WieseI于1962年提出了一個(gè)組合的感受野模式。具有相同感受野

的視皮層神經(jīng)元在垂直于皮層表明的方向上呈住狀分布．它們是視皮層的基本功能單位，成為超柱。超柱內(nèi)的神經(jīng)元對(duì)同一感受野中圖像和景物的各種持征進(jìn)行并行的處理和譯碼，是產(chǎn)生主觀感知覺(jué)的重要神經(jīng)基礎(chǔ)。現(xiàn)在大體止有兩種超住模型及譯碼理論：特征提取理論和空間頻率分析器理論。視覺(jué)持征提取理論認(rèn)為．視覺(jué)廢層的超柱是由許多不同特征的提取功能柱所組成。每種功能校內(nèi)的細(xì)胞不但感受野相同，其功能也相同，根據(jù)功能不同可以分為方位柱，服勢(shì)柱和顏色柱等。與上述特征提取的超柱模型不同，視覺(jué)空間頻率分析器的理論則認(rèn)為．視皮層的神經(jīng)元類似于傅立葉分析器，每個(gè)神經(jīng)元敏感的空間頻率不同。大量的研究結(jié)果表明，對(duì)復(fù)雜圖形的視知覺(jué)即包含待征提取．又包括空間按空間頻率分析的譯碼過(guò)程。此外．視皮層以外的皮層聯(lián)絡(luò)區(qū)也協(xié)同活動(dòng)。

MHter和Stryker總結(jié)了眼優(yōu)勢(shì)柱的生理學(xué)研究成果之后，建立了眼優(yōu)勢(shì)柱模型。他們認(rèn)為視皮層活動(dòng)性差異是形成神經(jīng)元可塑性的基礎(chǔ)，活動(dòng)性差異的統(tǒng)計(jì)學(xué)規(guī)律是優(yōu)勢(shì)柱形成的基礎(chǔ)．每只限傳入刺激引起的視皮層神經(jīng)元單位發(fā)放模式的相關(guān)性，比西服同時(shí)性傳入刺激引起的發(fā)放差異，在服優(yōu)勢(shì)校形成中具有更大的作用；不僅傳入刺激引起的突觸前神經(jīng)活動(dòng)模式是重要的，突觸后的皮層神經(jīng)元反應(yīng)模式在服優(yōu)勢(shì)校中也是重要的。這些假設(shè)基本符合Hebb突觸理論觀點(diǎn)。

2-4. 腦記憶生理機(jī)制

神經(jīng)生理學(xué)家一直在從事腦在何處以及如何記憶的研究。研究結(jié)果表明．在腦細(xì)胞經(jīng)受多次某個(gè)對(duì)象的刺激而保持連續(xù)興奮狀態(tài)時(shí)，只有當(dāng)這種刺激達(dá)到一定強(qiáng)度(閥值)之后，腦細(xì)胞里才會(huì)留下痕跡。而且當(dāng)這個(gè)對(duì)象刺激的頻率提高時(shí)．閥值降低，記憶更加牢固。

人腦的大量神經(jīng)細(xì)胞都以發(fā)射和不發(fā)射沖動(dòng)對(duì)行為和精神活動(dòng)做出貢獻(xiàn)。這些細(xì)胞之間以多種方式交互作用。動(dòng)態(tài)記憶理論是由桑克在1982年提的，它描述了記憶是如何組織的，記憶是怎樣從過(guò)去經(jīng)驗(yàn)中獲得智能而自動(dòng)改變和增長(zhǎng)的。當(dāng)證實(shí)過(guò)去的經(jīng)驗(yàn)失敗就存儲(chǔ)新的經(jīng)驗(yàn)，即由經(jīng)驗(yàn)中學(xué)習(xí)，用聯(lián)想及從聯(lián)想中歸納的方法改變結(jié)構(gòu)以適應(yīng)預(yù)測(cè)的失敗。動(dòng)態(tài)記憶依賴持續(xù)運(yùn)行的神經(jīng)沖動(dòng)，或者依賴于可能由重復(fù)到達(dá)的沖動(dòng)所強(qiáng)化的神經(jīng)元內(nèi)某些活躍的代謝變化和電位變化的保持。通過(guò)聯(lián)系神經(jīng)元的封閉環(huán)(或神經(jīng)沖動(dòng))可能是這種動(dòng)態(tài)記憶機(jī)制，每個(gè)記憶項(xiàng)目依賴于特定的神經(jīng)元環(huán)或網(wǎng)的活動(dòng)。事實(shí)上人們的記憶容量比神經(jīng)元多，因此，不同的記憶可能共用部分通路。如果沖動(dòng)實(shí)際上沒(méi)打留下長(zhǎng)時(shí)持續(xù)的痕跡，那么活動(dòng)一旦停止．記憶便完全地，不可改變地消失掉。

另外，實(shí)驗(yàn)證明記憶不是純動(dòng)態(tài)的。但是這并不排除最初對(duì)神經(jīng)元的依賴性。沖動(dòng)的運(yùn)行必然包含在那種留下記憶痕跡的最初經(jīng)驗(yàn)中。重復(fù)造成更好的記憶這一事實(shí)告訴我們．沖動(dòng)為了以后留下持久的物質(zhì)變化必須在它選定的道路上循環(huán)流動(dòng)。事實(shí)上鞏固記憶痕跡的確需要時(shí)間作為代價(jià)。學(xué)習(xí)機(jī)制表明，突觸結(jié)構(gòu)的變化，或者神經(jīng)蛋白質(zhì)的變化，是這種持久的靜態(tài)痕跡。那么神經(jīng)元原來(lái)不起作用，由于活動(dòng)而可能變得起作用并持續(xù)起作用。既然是記憶就存在一個(gè)記憶位置的問(wèn)題。

在神經(jīng)元生理學(xué)中，記憶研究最常用的方法是對(duì)人腦進(jìn)行局部破壞，觀察歸納障礙的情況。實(shí)驗(yàn)表明記憶與海馬有密切的關(guān)系。另外與記憶有關(guān)的是杏仁體。杏仁體把感覺(jué)輸入信號(hào)會(huì)聚成同樣-些部分，又把神經(jīng)纖維深入地送進(jìn)大腦小的丘腦下部。杏仁體的多種聯(lián)系構(gòu)成為認(rèn)為它能為記憶服務(wù)的多種作用的基礎(chǔ)。從皮質(zhì)感覺(jué)系統(tǒng)最終一個(gè)神經(jīng)站來(lái)的神經(jīng)纖維到達(dá)杏仁體。感覺(jué)印象在那里啟動(dòng)記憶系統(tǒng)的一條環(huán)路，它依靠杏仁體和丘腦之間的聯(lián)系。杏仁體和丘腦之間的聯(lián)系．杏仁體和丘腦下部之間的紐帶似乎允許把-種體驗(yàn)與情感通路接合起來(lái)。那些紐帶通過(guò)激活從杏仁體到感覺(jué)通路之間的反復(fù)聯(lián)系，也可以便感情影響學(xué)習(xí)。從杏仁體返回到感覺(jué)區(qū)的聯(lián)系的存在，有可能解釋一個(gè)單一的刺激能引出多種多樣的記憶。如當(dāng)嗅到一種熟悉的食物的氣味時(shí)能喚起對(duì)它的外觀、質(zhì)地和味道記憶。?

總的來(lái)說(shuō)．兩個(gè)主要的記憶回路分別起源于海馬和杏仁體，它們負(fù)責(zé)許多種認(rèn)知學(xué)習(xí)。除此之外，還存在用于學(xué)習(xí)的第二系統(tǒng)。復(fù)制刺激反應(yīng)是該系統(tǒng)中的關(guān)鍵部分，我們稱這種學(xué)習(xí)類型為習(xí)慣。習(xí)慣是刺激和反應(yīng)的無(wú)意識(shí)接合。行為主義心理學(xué)家早就證明這種接合是所有學(xué)習(xí)的基礎(chǔ)。行為主義觀點(diǎn)中排除了通常意義中的"精神"、"認(rèn)知"、以及"記憶"這樣一些術(shù)語(yǔ)。學(xué)習(xí)可能依靠?jī)蓚€(gè)完全不同的系統(tǒng)，其中之一源自認(rèn)知性習(xí)慣，另一個(gè)則是認(rèn)知記憶的基礎(chǔ)。這樣就可調(diào)和行為主義和認(rèn)知主義學(xué)派，行為就可能是對(duì)刺激的無(wú)意識(shí)反應(yīng)和由認(rèn)知和期望所指導(dǎo)的行為的接合體。

三、 神經(jīng)網(wǎng)絡(luò)和分布系統(tǒng)

3-1. 分布系統(tǒng)

3-1-1. 概述

分布系統(tǒng)是在人類周圍存在的最為普遍的系統(tǒng)。分布系統(tǒng)與非分布系統(tǒng)存在著較大的差異。非分布系統(tǒng)往往受一個(gè)統(tǒng)一命令的指揮，有一個(gè)集中發(fā)布命令的機(jī)構(gòu)。與之相反，分布系 統(tǒng)有多個(gè)發(fā)布命令的機(jī)構(gòu)，故而稱之為分布的。顯然分布系統(tǒng)應(yīng)該包含異步這一層含義，既然 沒(méi)有統(tǒng)一的指揮機(jī)構(gòu)自然表現(xiàn)為非同步。另外，對(duì)于分布系統(tǒng)不能期待整個(gè)系統(tǒng)為完全有序。 即從宏觀上看是有序的，而在微觀動(dòng)作上存在著隨機(jī)性，以實(shí)現(xiàn)與其它系統(tǒng)或環(huán)境的協(xié)調(diào)。此 外，分布系統(tǒng)中的每個(gè)要素相互競(jìng)爭(zhēng)、協(xié)調(diào)，在各種制約下作為整體保持一定秩序，適應(yīng)外界的 變動(dòng)。社會(huì)學(xué)中的很多現(xiàn)象，如一個(gè)人類集團(tuán)內(nèi)部，民族之間、國(guó)家之間，以至人與人，人類與自 然之間等等普遍存在這種現(xiàn)象。

3-1-2. 系統(tǒng)的特點(diǎn)：

3-1-2-1. 分布性

分布性體現(xiàn)在．系統(tǒng)由多個(gè)獨(dú)立智能要素構(gòu)成。獨(dú)立的智能要素可以是簡(jiǎn)單要素，也可以是子系統(tǒng)，它們有某種自主的決定權(quán)利。

3-1-2-2. 蠕動(dòng)性

就分布系統(tǒng)本身而言，有其不確定性，即系統(tǒng)并非固定不變。在此，系統(tǒng)存在某種程度的流動(dòng)性、模糊性、異步性，各要素之間通過(guò)相互作用、相互通信達(dá)到協(xié)調(diào)工作。

3-1-2-3. 自組織

分布系統(tǒng)能適應(yīng)環(huán)境的變化進(jìn)行自組織，按一種規(guī)律或秩序來(lái)達(dá)到某一目的。自組織與自適應(yīng)概念相似。自適應(yīng)是通過(guò)自組織(或重構(gòu))實(shí)現(xiàn)的。系統(tǒng)在自組織過(guò)程中不斷地從外界環(huán)境中吸取信息，不斷地重新組織本身。

3-1-2-4. 集中與分布共享

"集中"的含義是指用一個(gè)統(tǒng)一的命令體系來(lái)控制系統(tǒng)動(dòng)作。在此我們對(duì)這一解釋稍加擴(kuò)展。如果在一個(gè)系統(tǒng)中有多個(gè)主體、自律要素或子系統(tǒng)，它們執(zhí)行一個(gè)動(dòng)作，這種情況在客觀效果上與執(zhí)行統(tǒng)一命令相同，我們也使用"集中"這個(gè)術(shù)語(yǔ)。"分布"與"集中"恰好相對(duì)，如果所有的要素接受不同的、獨(dú)立的信息，進(jìn)行不同的動(dòng)作，我們稱之為"完全"的分布系統(tǒng)。對(duì)于一般的分布系統(tǒng)而言，它往往表現(xiàn)在"集中"與"完全"分布系統(tǒng)之間，即在分布系統(tǒng)中某些要素接受不同的、獨(dú)立的信息，進(jìn)行不同的動(dòng)作，而另外一些要素可能在一個(gè)或多個(gè)不同的統(tǒng)一的命令體系控制下進(jìn)行動(dòng)作。恰當(dāng)選擇分布系統(tǒng)的組成形式有助于使系統(tǒng)的功能可以達(dá)到某一最終日的或?qū)崿F(xiàn)某一秩序。

3-1-2-5. 宏觀性

研究分布系統(tǒng)時(shí)并不注重每個(gè)要素的微觀動(dòng)作，如同在熱力學(xué)研究中不關(guān)心每個(gè)氣體分子的狀態(tài)一樣。氣體分子在微觀層次上完全無(wú)序，而在宏觀層次上看來(lái)是均勻的。在分布系統(tǒng)研究中著眼于系統(tǒng)整體的宏觀動(dòng)作或秩序。當(dāng)然，微觀和宏觀是相對(duì)的概念。

3-2. 人工神經(jīng)網(wǎng)絡(luò)

3-2-1. 概述

人工神經(jīng)網(wǎng)絡(luò)在80年代中期得到了飛速的發(fā)展。1982年美國(guó)加州州立理工學(xué)院物理學(xué)家Hopfield教授提出了Hopfield人工神經(jīng)網(wǎng)絡(luò)模型，他將能量函數(shù)的概念引入人工神經(jīng)網(wǎng)絡(luò)，并給出了穩(wěn)定性的判據(jù)，開(kāi)拓了人工神經(jīng)網(wǎng)絡(luò)用于聯(lián)想記憶和優(yōu)化計(jì)算的新途徑。

人工神經(jīng)網(wǎng)絡(luò)模擬人類部分形象思維的能力，是模擬人工智能的一條途徑。特別是可以利用人工神經(jīng)網(wǎng)絡(luò)解決人工智能研究中所遇到的一些難題。人工神經(jīng)網(wǎng)絡(luò)理論的應(yīng)用已經(jīng)滲透到多個(gè)領(lǐng)域，在計(jì)算機(jī)視覺(jué)、模式識(shí)別、智能控制、非線性優(yōu)化、自適應(yīng)濾波相信息處理、機(jī)器人等方面取得了可喜的進(jìn)展。

人工神經(jīng)網(wǎng)絡(luò)模型發(fā)展到今日已有百余種模型，建造的方法也是多種多樣，有出自于熱力學(xué)的．數(shù)學(xué)方法的，模糊以及混沌方法。對(duì)于有規(guī)則的網(wǎng)絡(luò)結(jié)構(gòu)比較適合我們習(xí)慣的簡(jiǎn)潔分析方法。由于網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的規(guī)則性，限制了系統(tǒng)的自由性和無(wú)序運(yùn)動(dòng)，因而可以采用非效力學(xué)的其它方法。如對(duì)于前饋拓?fù)浣Y(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)，可使用感知器算法、誤差反傳遞算法、競(jìng)爭(zhēng)學(xué)習(xí)算法等。盡管如此，鑒于人工神經(jīng)網(wǎng)絡(luò)從本質(zhì)上體現(xiàn)了分布系統(tǒng)的基本性質(zhì)，所以分布系統(tǒng)的理論和方法均適合人工神經(jīng)網(wǎng)絡(luò)的研究。

3-2-2. 人工神經(jīng)網(wǎng)絡(luò)的信息處理原理

人工神經(jīng)網(wǎng)絡(luò)是由大量稱為神經(jīng)處理單元的自律要素以及這些自律要素相互作用形成的網(wǎng)絡(luò)。它是在多年來(lái)對(duì)神經(jīng)科學(xué)研究的基礎(chǔ)之上，經(jīng)過(guò)一定的抽象、簡(jiǎn)化與模擬的人工信息處理模型。它反映了人腦功能的某些基本持性．促又不世人腦的真實(shí)寫(xiě)照，形所-個(gè)具有高度非線性的大規(guī)模非線性動(dòng)力學(xué)系統(tǒng)。必須指出，人工神經(jīng)網(wǎng)絡(luò)絕對(duì)不是任何意義的人腦的神經(jīng)網(wǎng)絡(luò)或其它生物腦。人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)基礎(chǔ)功能：

3-2-2-1. 學(xué)習(xí)能力：通過(guò)實(shí)踐進(jìn)行學(xué)習(xí)；

3-2-2-2. 自適應(yīng)能力：系統(tǒng)能適應(yīng)外界的變化保持良好的性能；

3-2-2-3. 自組織能力：依據(jù)外部環(huán)境的變化進(jìn)行自組織，自適應(yīng)是通過(guò)自組織實(shí)現(xiàn)的；

3-2-2-4. 容錯(cuò)與自修復(fù)能力：對(duì)不完整的信息給出正確的解答，或者系統(tǒng)內(nèi)部發(fā)生某些故障時(shí)仍能達(dá)到良好的狀態(tài)；

3-2-2-5. 輸入輸出能力；

3-2-2-6. 知識(shí)表示能力；

3-2-2-7. 模式存儲(chǔ)、檢索能力。

從數(shù)學(xué)的角度可以歸納為以下幾個(gè)基礎(chǔ)屬性：

a) 非線性：人工神經(jīng)元可以表述為激活和抑制兩種基本狀態(tài)，這就是一種非線性關(guān)系。

b) 非局域性：人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)是以人工神經(jīng)元之間的相互作用表現(xiàn)信息的處理和存儲(chǔ)能人。系統(tǒng)的整體行為不僅取決于單個(gè)神經(jīng)元的狀態(tài)，而且取決于它們之間的相互作用，用此來(lái)模擬大腦的非局域性。

c) 非凸性：非凸性是指人工神經(jīng)網(wǎng)絡(luò)的演化過(guò)程在滿足一定條件下取決于某特定函數(shù)，而且該函數(shù)具有多個(gè)穩(wěn)定點(diǎn)，這將導(dǎo)致在不同邊界條件下得到不同的結(jié)果，這就是系統(tǒng)演變的多樣性。

d) 非定常性；表現(xiàn)在人工神經(jīng)網(wǎng)絡(luò)具有自組織、自適應(yīng)和自學(xué)習(xí)能力。

在分布系統(tǒng)論中假定了分布系統(tǒng)中的大量處理單元都是自律要素，并且通過(guò)自律要素間的相互作用體現(xiàn)整體性能相信息處理能力。自律要素的處理能力可以是非常復(fù)雜，也可能異常簡(jiǎn)單。相對(duì)而言，在人工神經(jīng)網(wǎng)絡(luò)模型中，一般假設(shè)神經(jīng)元是一個(gè)非常簡(jiǎn)單的處理單元．每個(gè)單元向其它單元發(fā)送興奮性或抑制性信號(hào)。單元表示可能存在的假設(shè)，單元之間的相互作用則表示單元之間存在的約束。這些單元的穩(wěn)定激活模式就是問(wèn)題的解。

3-3. 企業(yè)數(shù)字神經(jīng)網(wǎng)絡(luò)

企業(yè)數(shù)字神經(jīng)系統(tǒng)是人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)在企業(yè)管理上的一種應(yīng)用系統(tǒng)。數(shù)字神經(jīng)系統(tǒng)通過(guò)對(duì)神經(jīng)元以及神經(jīng)系統(tǒng)的模仿，確立系統(tǒng)模型，解決企業(yè)的信息傳遞機(jī)制和流程問(wèn)題。系統(tǒng)核心強(qiáng)調(diào)信息準(zhǔn)確、傳遞及時(shí)、對(duì)象合理。業(yè)數(shù)據(jù)交流的雙向性、互動(dòng)性和數(shù)據(jù)信息的復(fù)雜性，數(shù)字神經(jīng)系統(tǒng)的網(wǎng)絡(luò)模型是一種綜合的神經(jīng)網(wǎng)絡(luò)模型。根據(jù)不同的一些情況，采用反饋神經(jīng)網(wǎng)絡(luò)、自組織神經(jīng)網(wǎng)絡(luò)模型。

反饋神經(jīng)網(wǎng)絡(luò)模型：采用經(jīng)典的Hopfield網(wǎng)絡(luò)模型。在反饋神經(jīng)網(wǎng)絡(luò)中，輸入數(shù)據(jù)決定反饋系統(tǒng)的初始狀態(tài)，然后系統(tǒng)經(jīng)過(guò)一系列狀態(tài)轉(zhuǎn)移后，逐漸收斂于平衡狀態(tài)。這樣的平御伏態(tài)就是反饋神經(jīng)網(wǎng)絡(luò)經(jīng)計(jì)算后的輸出結(jié)果。 Hopfield經(jīng)常被用于資源組合優(yōu)化問(wèn)題。

自組織網(wǎng)絡(luò)模型(Self-organizing Neural NetWork)：Kohonen的自組織特征映射神經(jīng)網(wǎng)絡(luò)(seIf-organizing Feature Map)。自組織神經(jīng)網(wǎng)絡(luò)是一種無(wú)教師學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，它能模擬人類根據(jù)過(guò)去經(jīng)驗(yàn)自動(dòng)適應(yīng)無(wú)法預(yù)測(cè)的環(huán)境變化。

第二篇? 系統(tǒng)模型

第一章 典型神經(jīng)網(wǎng)絡(luò)模型

模擬人類實(shí)際神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)方法問(wèn)世以來(lái)，人們已慢慢習(xí)慣了把這種人工神經(jīng)網(wǎng)絡(luò)直接稱為神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)在系統(tǒng)辨識(shí)．模式識(shí)別，智能控制等領(lǐng)域有著廣泛而吸引人的前景。特別在智能控制中，人們對(duì)神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)功能尤其感興趣，并且把神經(jīng)網(wǎng)絡(luò)這一重要特點(diǎn)看作是解決自動(dòng)控制中按制器適應(yīng)能力這個(gè)難題的關(guān)鍵鑰匙之一。 神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)在于神經(jīng)元。 神經(jīng)元是以生物神經(jīng)系統(tǒng)的神經(jīng)細(xì)胞為基礎(chǔ)的生物模型。在人們對(duì)生物神經(jīng)系統(tǒng)進(jìn)行研究，以探討人工智能的機(jī)制時(shí)，把神經(jīng)元數(shù)學(xué)化，從而產(chǎn)生了神經(jīng)元數(shù)學(xué)模型。 大量的形式相同的神經(jīng)元連結(jié)在—起就組成了神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)是一個(gè)高度非線性動(dòng)力學(xué)系統(tǒng)。雖然，每個(gè)神經(jīng)元的結(jié)構(gòu)和功能都不復(fù)雜，但是神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)行為則是十分復(fù)雜的；因此，用神經(jīng)網(wǎng)絡(luò)可以表達(dá)實(shí)際物理世界的各種現(xiàn)象。 神經(jīng)網(wǎng)絡(luò)模型是以神經(jīng)元的數(shù)學(xué)模型為基礎(chǔ)來(lái)?yè)硎龅摹Ｉ窠?jīng)網(wǎng)絡(luò)模型由網(wǎng)絡(luò)拓?fù)?#xff0e;節(jié)點(diǎn)特點(diǎn)和學(xué)習(xí)規(guī)則來(lái)表示。神經(jīng)網(wǎng)絡(luò)對(duì)人們的巨大吸引力主要在下列幾點(diǎn)： 1．并行分布處理。 2．高度魯棒性和容錯(cuò)能力。 3．分布存儲(chǔ)及學(xué)習(xí)能力。 4．能充分逼近復(fù)雜的非線性關(guān)系。 在控制領(lǐng)域的研究課題中，不確定性系統(tǒng)的控制問(wèn)題長(zhǎng)期以來(lái)都是控制理論研究的中心主題之一，但是這個(gè)問(wèn)題一直沒(méi)有得到有效的解決。利用神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力，使它在對(duì)不確定性系統(tǒng)的控制過(guò)程中自動(dòng)學(xué)習(xí)系統(tǒng)的特性，從而自動(dòng)適應(yīng)系統(tǒng)隨時(shí)間的特性變異，以求達(dá)到對(duì)系統(tǒng)的最優(yōu)控制；顯然這是一種十分振奮人心的意向和方法。 人工神經(jīng)網(wǎng)絡(luò)的模型現(xiàn)在有數(shù)十種之多，在這一章中，主要介紹應(yīng)用較多的典型的神經(jīng)網(wǎng)絡(luò)模型。這些模型包括BP網(wǎng)絡(luò)、Hopfield網(wǎng)絡(luò)、ART網(wǎng)絡(luò)和Kohonen網(wǎng)絡(luò)。

1.1?? 神經(jīng)網(wǎng)絡(luò)的基本機(jī)理和結(jié)構(gòu) 神經(jīng)網(wǎng)絡(luò)的基本組成單元是神經(jīng)元，在數(shù)學(xué)上的神經(jīng)元模型是和在生物學(xué)上的神經(jīng)細(xì)胞對(duì)應(yīng)的。或者說(shuō)，人工神經(jīng)網(wǎng)絡(luò)理論是用神經(jīng)元這種抽象的數(shù)學(xué)模型來(lái)描述客觀世界的生物細(xì)胞的。 很明顯，生物的神經(jīng)細(xì)胞是神經(jīng)網(wǎng)絡(luò)理論誕生和形成的物質(zhì)基礎(chǔ)和源泉。這樣，神經(jīng)元的數(shù)學(xué)描述就必須以生物神經(jīng)細(xì)胞的客觀行為特性為依據(jù)。因此，了解生物神經(jīng)細(xì)胞的行為特性就是一件十分重要而必須的事了。 神經(jīng)網(wǎng)絡(luò)的拓樸結(jié)構(gòu)也是以生物學(xué)解剖中神經(jīng)細(xì)胞互連的方式為依據(jù)的。對(duì)神經(jīng)細(xì)胞相互作用情況的揭露也是十分重要的。 1．1．1 神經(jīng)元及其行為機(jī)理 神經(jīng)元是神經(jīng)網(wǎng)絡(luò)基本元素。只有了解神經(jīng)元才能認(rèn)識(shí)神經(jīng)網(wǎng)絡(luò)的本質(zhì)。在這一節(jié)介 紹神經(jīng)元的生物學(xué)解副，信息的處理與傳遞方式，工作功能以及其數(shù)學(xué)模型。 一、神經(jīng)元的生物學(xué)解剖 在人體內(nèi)，神經(jīng)元的結(jié)構(gòu)形式并非是完全相同的；但是，無(wú)論結(jié)構(gòu)形式如何，神經(jīng)元都是 由一些基本的成份組成的。神經(jīng)元的生物學(xué)解剖可以用圖1—1所示的結(jié)構(gòu)表示。從圖中 可以看出：神經(jīng)元是由細(xì)胞體，樹(shù)突和軸突三部分組成。

圖1-1? 神經(jīng)元的解剖

1．細(xì)胞體 細(xì)胞體是由很多分子形成的綜合體，內(nèi)部含有一個(gè)細(xì)胞核、核糖體、原生質(zhì)網(wǎng)狀結(jié)構(gòu)等，它是神經(jīng)元活動(dòng)的能量供應(yīng)地，在這里進(jìn)行新陳代謝等各種生化過(guò)程。神經(jīng)元也即是整個(gè)細(xì)胞，整個(gè)細(xì)胞的最外層稱為細(xì)胞膜。 2．樹(shù)突 細(xì)胞體的伸延部分產(chǎn)生的分枝稱為樹(shù)突，樹(shù)突是接受從其它神經(jīng)元傳人的信息的入口。 3．軸突 細(xì)胞體突起的最長(zhǎng)的外伸管狀纖維稱為軸突。軸突最長(zhǎng)可達(dá)1米以上。軸突是把神經(jīng)元興奮的信息傳出到其它神經(jīng)元的出口。 突觸，是一個(gè)神經(jīng)元與另一個(gè)神經(jīng)元之間相聯(lián)系并進(jìn)行信息傳送的結(jié)構(gòu)。突觸如圖1—2所示。它由突觸前成分，突觸間隙和突觸后成分組成。突觸前成分是一·個(gè)神經(jīng)元的軸突末梢。突觸間隙是突觸前成分與后成分之間的距離空間，間隙一般為200—300?。突觸后成分可以是細(xì)胞體，樹(shù)突或軸突。突觸的存在說(shuō)明：兩個(gè)神經(jīng)元的細(xì)胞質(zhì)并不直接連通，兩者彼此聯(lián)系是通過(guò)突觸這種結(jié)構(gòu)接口的。有時(shí)．也把突觸看作是神經(jīng)元之間的連接。

?

圖1-2?? 突觸結(jié)構(gòu)

目前，根據(jù)神經(jīng)生理學(xué)的研究，已經(jīng)發(fā)現(xiàn)神經(jīng)元及其問(wèn)的突觸起碼有不同的4種行為。神經(jīng)元的4種生物行為有： (1)能處于抑制或興奮狀態(tài)； (2)能產(chǎn)生爆發(fā)和平臺(tái)兩種情況； (3)能產(chǎn)生抑制后的反沖； (4)具有適應(yīng)性。 突觸的4種生物行為有： (1)能進(jìn)行信息綜合； (2)能產(chǎn)生漸次變化的傳送； (3)有電接觸和化學(xué)接觸等多種連接方式； (4)會(huì)產(chǎn)生延時(shí)激發(fā)。 目前，人工神經(jīng)網(wǎng)絡(luò)的研究?jī)H僅是對(duì)神經(jīng)元的第一種行為和突觸的第一種行為進(jìn)行模擬，其它行為尚未考慮。所以，神經(jīng)網(wǎng)絡(luò)的研究只是處于起步的初級(jí)階段，后邊還有大量的工作等人們?nèi)ヌ接懞脱芯俊Ｄ壳?#xff0c;神經(jīng)網(wǎng)絡(luò)的研究已向人們展示了其美好的前景；只要按階段不斷取得進(jìn)展，神經(jīng)元和突觸的其它行為是完全可以實(shí)現(xiàn)人工模擬的。 二.神經(jīng)元的信息處理與傳遞 1．神經(jīng)元的興奮與抑制 人工神經(jīng)網(wǎng)絡(luò)對(duì)神經(jīng)元的興奮與抑制進(jìn)行模擬，故而首先應(yīng)了解神經(jīng)元的興奮與抑制狀態(tài)。 一個(gè)神經(jīng)元的興奮和抑制兩種狀態(tài)是由細(xì)胞膜內(nèi)外之間不同的電位差來(lái)表征的。在抑制狀態(tài)，細(xì)胞膜內(nèi)外之間有內(nèi)負(fù)外正的電位差，這個(gè)電位差大約在-50—-100mv之間。在興奮狀態(tài)，則產(chǎn)生內(nèi)正外負(fù)的相反電位差，這時(shí)表現(xiàn)為約60—100mv的電脈沖。細(xì)胞膜內(nèi)外的電位差是由膜內(nèi)外的離子濃度不同導(dǎo)致的。細(xì)胞的興奮電脈沖寬度一般大約為1ms。神經(jīng)元的興奮過(guò)程電位變化如圖1—3所示。

?

圖1-3.神經(jīng)元的興奮過(guò)程電位變化

2．神經(jīng)元的信息傳遞及閥值特性 對(duì)神經(jīng)細(xì)腦的研究結(jié)果表明：神經(jīng)元的電脈沖幾乎可以不衰減地沿著軸突傳送到其它神經(jīng)元去。 由神經(jīng)元傳出的電脈沖信號(hào)通過(guò)軸突，首先到達(dá)軸突末梢，這時(shí)則使其中的囊泡產(chǎn)生變化從而釋放神經(jīng)遞質(zhì)，這種神經(jīng)遞質(zhì)通過(guò)突觸的間隙而進(jìn)入到另一個(gè)神經(jīng)元的樹(shù)突中。樹(shù)突上的受體能夠接受神經(jīng)遞質(zhì)從而去改變膜向離子的通透性．使膜外內(nèi)離子濃度差產(chǎn)生變化；進(jìn)而使電位產(chǎn)生變化。顯然，信息就從一個(gè)神經(jīng)元傳送到另一個(gè)神經(jīng)元中。 當(dāng)神經(jīng)元接受來(lái)自其它神經(jīng)元的信息時(shí)，膜電位在開(kāi)始時(shí)是按時(shí)間連續(xù)漸漸變化的。當(dāng)膜電位變化經(jīng)超出一個(gè)定值時(shí)，才產(chǎn)生突變上升的脈沖，這個(gè)脈沖接著沿軸突進(jìn)行傳遞。神經(jīng)元這種膜電位高達(dá)一定閥值才產(chǎn)生脈沖傳送的特性稱閥值特性。 這種閥值特性從圖1—3中也可以看出。 神經(jīng)元的信息傳遞除了有閥值特性之外，還有兩個(gè)特點(diǎn)。一個(gè)是單向性傳遞，即只能從前一級(jí)神經(jīng)元的軸突末梢傳向后一級(jí)神經(jīng)元的樹(shù)突或細(xì)胞體，不能反之。另一個(gè)是延時(shí)性傳遞．信息通過(guò)突觸傳遞，通常會(huì)產(chǎn)生0.5—1ms的延時(shí)。 3．神經(jīng)元的信息綜合特性 神經(jīng)元對(duì)來(lái)自其它神經(jīng)元的信息有時(shí)空綜合特性。 在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上，大量不同的神經(jīng)元的軸突末梢可以到達(dá)同一個(gè)神經(jīng)元的樹(shù)突并形成大量突觸。來(lái)源不同的突觸所釋放的神經(jīng)遞質(zhì)都可以對(duì)同一個(gè)神經(jīng)元的膜電位變化產(chǎn)生作用。因此，在樹(shù)突上，神經(jīng)元可以對(duì)不同來(lái)源的輸入信息進(jìn)行綜合。這就是神經(jīng)元對(duì)信息的空間綜合特性。 對(duì)于來(lái)自同一個(gè)突觸的信息，神經(jīng)元可以對(duì)于不同時(shí)間傳人的信息進(jìn)行綜合。故神經(jīng)元對(duì)信息有時(shí)間綜合特性。 4．神經(jīng)元、突觸的D/A、A/D特性 從神經(jīng)元軸突上傳遞的信息是等幅、恒寬、編碼的離散電脈沖信號(hào)，故而是一個(gè)數(shù)字量。但在突觸中神經(jīng)遞質(zhì)的釋放和樹(shù)突中膜電位的變化是連續(xù)的。故而，這時(shí)說(shuō)明突觸有D/A功能。在神經(jīng)元的樹(shù)突膜電位高過(guò)一定閥值時(shí)，則又變成電脈沖方式由軸突傳送出去。故而，這個(gè)過(guò)程說(shuō)明神經(jīng)元有A/D功能。 很明顯，信息通過(guò)一個(gè)神經(jīng)元傳遞時(shí)，神經(jīng)元對(duì)信息執(zhí)行了D/A、A/D轉(zhuǎn)換過(guò)程。 從上面可知，神經(jīng)元對(duì)信息的處理和傳遞有閥值，D/A、A/D和綜合等一系列特性和功能。 三、神經(jīng)元的數(shù)學(xué)模型 從神經(jīng)元的特性和功能可以知道，神經(jīng)元是一個(gè)多輸入單輸出的信息處理單元，而且，它對(duì)信息的處理是非線性的。根據(jù)神經(jīng)元的特性和功能，可以把神經(jīng)元抽象為一個(gè)簡(jiǎn)單的數(shù)學(xué)模型。工程上用的人工神經(jīng)元模型如圖1—4所示。

?

圖1—4???? 神經(jīng)元的數(shù)學(xué)模型

在圖1—4中，X1，X2，……，Xn是神經(jīng)元的輸入，即是來(lái)自前級(jí)n個(gè)神經(jīng)元的軸突的信息A是i神經(jīng)元的閻值；Wi1，Wi2……，Win分別是i神經(jīng)元對(duì)X1，X2，……，Xn的權(quán)系數(shù)，也即突觸的傳遞效率；Yi是i神經(jīng)元的輸出；f[·]是激發(fā)函數(shù)，它決定i神經(jīng)元受到輸人X1，X2，……，Xn的共同刺激達(dá)到閥值時(shí)以何種方式輸出。 從圖1—4的神經(jīng)元模型，可以得到神經(jīng)元的數(shù)學(xué)模型表達(dá)式： (1-1)

?

圖1-5.典型激發(fā)函數(shù)

對(duì)于激發(fā)函數(shù)f[·]有多種形式，其中最常見(jiàn)的有階躍型、線性型和S型三種形式，這三種形式如圖1—5所示。 為了表達(dá)方便；令： (1-2)

則式(1-1)可寫(xiě)成下式： Yi=F[Ui] ；?????? (1-3) 顯然，對(duì)于階躍型激發(fā)涵數(shù)有： (1-4)

對(duì)于線性型激發(fā)函數(shù)，有： f(Ui)=Ku；???????????? (1-5) 對(duì)于S型激發(fā)函數(shù)，有： (1-6)

對(duì)于階躍型激發(fā)函數(shù)，它的輸出是電位脈沖，故而這種激發(fā)函數(shù)的神經(jīng)元稱離散輸出模型。 對(duì)于線性激發(fā)函數(shù)，它的輸出是隨輸入的激發(fā)總量成正比的；故這種神經(jīng)元稱線性連續(xù)型模型。 對(duì)于用s型激發(fā)函數(shù)，它的輸出是非線性的；故這種神經(jīng)元稱非線性連續(xù)型模型。 上面所敘述的是最廣泛應(yīng)用而且人們最熟悉的神經(jīng)元數(shù)學(xué)模型；也是歷史最長(zhǎng)的神經(jīng)元模型。近若干年來(lái)，隨著神經(jīng)網(wǎng)絡(luò)理論的發(fā)展，出現(xiàn)了不少新穎的神經(jīng)元數(shù)學(xué)模型，這些模型包括邏輯神經(jīng)元模型，模糊神經(jīng)元模型等，并且漸漸也受到人們的關(guān)注和重視。 1.1.2 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及功能 神經(jīng)元和神經(jīng)網(wǎng)絡(luò)的關(guān)系是元素與整體的關(guān)系。神經(jīng)元的結(jié)構(gòu)很簡(jiǎn)單，工作機(jī)理也不深?yuàn)W；但是用神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)就非常復(fù)雜，其功能也十分奧妙。 人們平常十分清楚磚頭是很簡(jiǎn)單的，但是用簡(jiǎn)單的磚頭，人們就可以筑造出各種美倫美灸的建筑物；無(wú)論是優(yōu)雅的別墅，亦或是高聳雄偉的大廈，或者是粗曠的金字塔，亦或是莊嚴(yán)肅穆的教堂，無(wú)一不是由簡(jiǎn)單的磚頭砌堆而成。簡(jiǎn)單的神經(jīng)元也是如此，通過(guò)不同方式的連接和信息傳遞，也就能產(chǎn)生豐富多彩的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，創(chuàng)造出令人贊嘆的優(yōu)異功能。 一、神經(jīng)網(wǎng)絡(luò) 神經(jīng)網(wǎng)絡(luò)就是由許多神經(jīng)元互連在一起所組成的神經(jīng)結(jié)構(gòu)。把神經(jīng)元之間相互作用的關(guān)系進(jìn)行數(shù)學(xué)模型化就可以得到神經(jīng)網(wǎng)絡(luò)模型。 1．神經(jīng)網(wǎng)絡(luò)的基本屬性 神經(jīng)網(wǎng)絡(luò)有些基本屬性，它們反映了神經(jīng)網(wǎng)絡(luò)的特質(zhì)。 (1)非線性 人腦的思維是非線性的，故人工神經(jīng)網(wǎng)絡(luò)模擬人的思維也應(yīng)是非線性的。 (2)非局域性 非局域性是人的神經(jīng)系統(tǒng)的一個(gè)特性，人的整體行為是非局域性的最明顯體現(xiàn)。神經(jīng)網(wǎng)絡(luò)以大量的神經(jīng)元連接模擬人腦的非局域性，它的分布存儲(chǔ)是非局域性的一種表現(xiàn)。 (3)非定常性 神經(jīng)網(wǎng)絡(luò)是模擬人腦思維運(yùn)動(dòng)的動(dòng)力學(xué)系統(tǒng)，它應(yīng)按不同時(shí)刻的外界刺激對(duì)自己的功能進(jìn)行修改，故而它是一個(gè)時(shí)變的系統(tǒng)。 (4)非凸性 神經(jīng)網(wǎng)絡(luò)的非凸性即是指它有多個(gè)極值，也即系統(tǒng)具有不只一個(gè)的較穩(wěn)定的平衡狀態(tài)。這種屬性會(huì)使系統(tǒng)的演化多樣化。神經(jīng)網(wǎng)絡(luò)的全局優(yōu)化算法就反映了這一點(diǎn)，例如模擬退火法。 2．神經(jīng)網(wǎng)絡(luò)模型 神經(jīng)網(wǎng)絡(luò)在目前已有幾十種不同的模型。人們按不同的角度對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行分類，通常可按5個(gè)原則進(jìn)行神經(jīng)網(wǎng)絡(luò)的歸類。 按照網(wǎng)絡(luò)的結(jié)構(gòu)區(qū)分，則有前向網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)。 按照學(xué)習(xí)方式區(qū)分，則有有教師學(xué)習(xí)和無(wú)教師學(xué)習(xí)網(wǎng)絡(luò)。 按照網(wǎng)絡(luò)性能區(qū)分，則有連續(xù)型和離散性網(wǎng)絡(luò)，隨機(jī)型和確定型網(wǎng)絡(luò)。 按照突觸性質(zhì)區(qū)分，則有一階線性關(guān)聯(lián)網(wǎng)絡(luò)和高階非線性關(guān)聯(lián)網(wǎng)絡(luò)。 按對(duì)生物神經(jīng)系統(tǒng)的層次模擬區(qū)分，則有神經(jīng)元層次模型，組合式模型，網(wǎng)絡(luò)層次模型，神經(jīng)系統(tǒng)層次模型和智能型模型。 通常，人們較多地考慮神經(jīng)網(wǎng)絡(luò)的互連結(jié)構(gòu)。一段而言，神經(jīng)網(wǎng)絡(luò)有分層網(wǎng)絡(luò)，層內(nèi)連接的分層網(wǎng)絡(luò)．反饋連接的分層網(wǎng)絡(luò)，互連網(wǎng)絡(luò)等4種互連結(jié)構(gòu)，這些結(jié)構(gòu)如圖1—6所示。 在人們提出的幾十種神經(jīng)網(wǎng)絡(luò)模型中，人們較多用的是Hopfield網(wǎng)絡(luò)、BP網(wǎng)絡(luò)、Kohonen網(wǎng)絡(luò)和ART(自適應(yīng)共振理論)網(wǎng)絡(luò)。 (c) 有反饋連接的分層網(wǎng)絡(luò)? (d)互連網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)是最典型的反饋網(wǎng)絡(luò)模型，它是目前人們研究得最多的模型之一。Hopfield網(wǎng)絡(luò)是由相同的神經(jīng)元構(gòu)成的單層，并且不具學(xué)習(xí)功能的自聯(lián)想網(wǎng)絡(luò)。它需要對(duì)稱連接。這個(gè)網(wǎng)絡(luò)習(xí)以完成制約優(yōu)化和聯(lián)想記憶等功能。 BP網(wǎng)絡(luò)是反向傳播(Back Propagation)網(wǎng)絡(luò)。它是一種多層前向網(wǎng)絡(luò)，采用最小均方差學(xué)習(xí)方式。這是一種最廣泛應(yīng)用的網(wǎng)絡(luò)。它可用于語(yǔ)言綜合，識(shí)別和自適應(yīng)控制等用途。BP網(wǎng)路需有教師訓(xùn)練。 Kohonen網(wǎng)絡(luò)是典型的自組織神經(jīng)網(wǎng)絡(luò)，這種網(wǎng)絡(luò)也稱為自組織特征映射網(wǎng)絡(luò)SOM。它的輸入層是單層單維神經(jīng)元；而輸出層是二維的神經(jīng)元，神經(jīng)元之間存在以“墨西哥帽”形式進(jìn)行側(cè)向交互的作用。因而，在輸出層中，神經(jīng)元之間有近揚(yáng)遠(yuǎn)抑的反饋特性；從而使Kohonen網(wǎng)絡(luò)可以作為模式特征的檢測(cè)器。 ART網(wǎng)絡(luò)也是一種自組織網(wǎng)絡(luò)模型。這是一種無(wú)教師學(xué)習(xí)網(wǎng)絡(luò)。它能夠較好地協(xié)調(diào)適應(yīng)性，穩(wěn)定性和復(fù)雜性的要求。在ART網(wǎng)絡(luò)中，通常需要兩個(gè)功能互補(bǔ)的子系統(tǒng)相互作用．這兩個(gè)子系統(tǒng)稱注意子系統(tǒng)和取向子系統(tǒng)。ART網(wǎng)絡(luò)主要用于模式識(shí)別，它不足之處是在于對(duì)轉(zhuǎn)換、失真和規(guī)模變化較敏感。 3．神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則可以粗略分成3類，這些類別分別如下： 第一類學(xué)習(xí)規(guī)則稱相關(guān)學(xué)習(xí)規(guī)則。這種規(guī)則只根據(jù)連接間的激活水平改變權(quán)系數(shù)。 常用于自聯(lián)想網(wǎng)絡(luò)，如Hopfield網(wǎng)絡(luò)。 第二類學(xué)習(xí)規(guī)則稱糾錯(cuò)學(xué)習(xí)規(guī)則。這種規(guī)則根據(jù)輸出節(jié)點(diǎn)的外部反饋改變權(quán)系數(shù)。在方法上它和梯度下降法等效，按局部改善最大的方向一步步進(jìn)行優(yōu)化，從而最終找到全局優(yōu)化值。感知器學(xué)習(xí)就采用這種糾錯(cuò)學(xué)習(xí)規(guī)則．例如BP算法。用于統(tǒng)計(jì)性算法的模擬退火算法也屬于這種學(xué)習(xí)規(guī)則。 第三類學(xué)習(xí)規(guī)則稱無(wú)教師學(xué)習(xí)規(guī)則。它是一種對(duì)輸入測(cè)檢進(jìn)行自適應(yīng)的學(xué)習(xí)規(guī)則。 ART網(wǎng)絡(luò)的自組織學(xué)習(xí)算法即屬于這一類。 二、神經(jīng)網(wǎng)絡(luò)信息處理的數(shù)學(xué)過(guò)程 神經(jīng)網(wǎng)絡(luò)信息處理可以用數(shù)學(xué)過(guò)程來(lái)說(shuō)明，這個(gè)過(guò)程可分為兩個(gè)階段；執(zhí)行階段和學(xué)習(xí)階段。下面以前向網(wǎng)絡(luò)情況說(shuō)明這兩個(gè)階段。 1．執(zhí)行階段 執(zhí)行階段是指神經(jīng)網(wǎng)絡(luò)對(duì)輸入信息進(jìn)行處理，并產(chǎn)生對(duì)應(yīng)的輸出過(guò)程。在執(zhí)行階段，網(wǎng)絡(luò)的連接結(jié)構(gòu)和權(quán)系數(shù)是已經(jīng)確定并且不會(huì)變化的。這時(shí)有： (1-7) Xi(t+1)=fi[ui(t+1)] (1-8) 其中：Xi是前級(jí)神經(jīng)元的輸出； Wij是第i個(gè)神經(jīng)元和前級(jí)j個(gè)神經(jīng)元突觸的權(quán)系數(shù) θi：是第i個(gè)神經(jīng)元的閥值； fi為第i個(gè)神經(jīng)元的非線性激活函數(shù)； Xi為第i個(gè)神經(jīng)元的輸出。 2．學(xué)習(xí)階段 學(xué)習(xí)階段是指神經(jīng)網(wǎng)絡(luò)自完善的階段；這時(shí)，網(wǎng)絡(luò)按一定的學(xué)習(xí)規(guī)則修改突觸的權(quán)系數(shù)Wij，以使到結(jié)定的測(cè)度函數(shù)E達(dá)到最小。一般取： E=(Ti,Xi)?????????? (1-9) 其中，Ti是教師信號(hào)； Xi是神經(jīng)元的輸出。 學(xué)習(xí)公式可以表示為下面數(shù)學(xué)表達(dá)式： (1-10) 其中：Ψ是一個(gè)非線性函數(shù)； ηij是權(quán)重變化率； n是學(xué)習(xí)時(shí)的迭代次數(shù)。 對(duì)于梯度學(xué)習(xí)算法，則可以采用下面具體公式： (1-11) 神經(jīng)網(wǎng)絡(luò)對(duì)信息的處理一般都需要學(xué)習(xí)階段和執(zhí)行階段結(jié)合，才能實(shí)現(xiàn)合理的處理過(guò)程。神經(jīng)網(wǎng)絡(luò)對(duì)信息的學(xué)習(xí)是為了取得對(duì)信息的適應(yīng)特性，或信息的特征；而神經(jīng)網(wǎng)絡(luò)對(duì)信息的執(zhí)行過(guò)程是對(duì)特征的檢索或者是對(duì)信息的分類過(guò)程。 學(xué)習(xí)和執(zhí)行是神經(jīng)網(wǎng)絡(luò)不可缺少的兩個(gè)處理和功能。神經(jīng)網(wǎng)絡(luò)的各種有效的行為和作用，都是通過(guò)這兩個(gè)關(guān)鍵的過(guò)程來(lái)實(shí)現(xiàn)的。 通過(guò)學(xué)習(xí)階段，可以把神經(jīng)網(wǎng)絡(luò)訓(xùn)練成對(duì)某種信息模式特別敏感，或具有某種特征的動(dòng)力學(xué)系統(tǒng)。通過(guò)執(zhí)行階段，可以用神經(jīng)網(wǎng)絡(luò)識(shí)別有關(guān)信息模式或特征。 在智能控制中，用神經(jīng)網(wǎng)絡(luò)作為控制器，則在學(xué)習(xí)時(shí)就是以神經(jīng)網(wǎng)絡(luò)去學(xué)習(xí)被控對(duì)象的特征，從而使神經(jīng)網(wǎng)絡(luò)能適應(yīng)被控對(duì)象的輸入輸出關(guān)系；這樣，在執(zhí)行時(shí)，神經(jīng)網(wǎng)絡(luò)就能以學(xué)習(xí)到的知識(shí)對(duì)被控對(duì)象實(shí)現(xiàn)恰如其分的控制。 1.2反向傳播BP模型 學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)一種最重要也最令人注目的特點(diǎn)。在神經(jīng)網(wǎng)絡(luò)的發(fā)展進(jìn)程中，學(xué)習(xí)算法的研究有著十分重要的地位。目前，人們所提出的神經(jīng)網(wǎng)絡(luò)模型都是和學(xué)習(xí)算法相應(yīng)的。所以，有時(shí)人們并不去祈求對(duì)模型和算法進(jìn)行嚴(yán)格的定義或區(qū)分。有的模型可以有多種算法．而有的算法可能可用于多種模型。不過(guò)，有時(shí)人們也稱算法為模型。 自從40年代Hebb提出的學(xué)習(xí)規(guī)則以來(lái)，人們相繼提出了各種各樣的學(xué)習(xí)算法。其中以在1986年Rumelhart等提出的誤差反向傳播法，即BP(error BackPropagation)法影響最為廣泛。直到今天，BP算法仍然是自動(dòng)控制上最重要、應(yīng)用最多的有效算法。 1．2．1 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)機(jī)理和機(jī)構(gòu) 在神經(jīng)網(wǎng)絡(luò)中，對(duì)外部環(huán)境提供的模式樣本進(jìn)行學(xué)習(xí)訓(xùn)練，并能存儲(chǔ)這種模式，則稱為感知器；對(duì)外部環(huán)境有適應(yīng)能力，能自動(dòng)提取外部環(huán)境變化特征，則稱為認(rèn)知器。 神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)中，一般分為有教師和無(wú)教師學(xué)習(xí)兩種。感知器采用有教師信號(hào)進(jìn)行學(xué)習(xí)，而認(rèn)知器則采用無(wú)教師信號(hào)學(xué)習(xí)的。在主要神經(jīng)網(wǎng)絡(luò)如BP網(wǎng)絡(luò)，Hopfield網(wǎng)絡(luò)，ART網(wǎng)絡(luò)和Kohonen網(wǎng)絡(luò)中；BP網(wǎng)絡(luò)和Hopfield網(wǎng)絡(luò)是需要教師信號(hào)才能進(jìn)行學(xué)習(xí)的；而ART網(wǎng)絡(luò)和Kohonen網(wǎng)絡(luò)則無(wú)需教師信號(hào)就可以學(xué)習(xí)。所謂教師信號(hào)，就是在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中由外部提供的模式樣本信號(hào)。 一、感知器的學(xué)習(xí)結(jié)構(gòu) 感知器的學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)最典型的學(xué)習(xí)。 目前，在控制上應(yīng)用的是多層前饋網(wǎng)絡(luò)，這是一種感知器模型，學(xué)習(xí)算法是BP法，故是有教師學(xué)習(xí)算法。 一個(gè)有教師的學(xué)習(xí)系統(tǒng)可以用圖1—7表示。這種學(xué)習(xí)系統(tǒng)分成三個(gè)部分：輸入部，訓(xùn)練部和輸出部。 圖1-7? 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)系統(tǒng)框圖 輸入部接收外來(lái)的輸入樣本X，由訓(xùn)練部進(jìn)行網(wǎng)絡(luò)的權(quán)系數(shù)W調(diào)整，然后由輸出部輸出結(jié)果。在這個(gè)過(guò)程中，期望的輸出信號(hào)可以作為教師信號(hào)輸入，由該教師信號(hào)與實(shí)際輸出進(jìn)行比較，產(chǎn)生的誤差去控制修改權(quán)系數(shù)W。 學(xué)習(xí)機(jī)構(gòu)可用圖1—8所示的結(jié)構(gòu)表示。 在圖中，Xl，X2，…，Xn，是輸入樣本信號(hào)，W1，W2，…，Wn是權(quán)系數(shù)。輸入樣本信號(hào)Xi可以取離散值“0”或“1”。輸入樣本信號(hào)通過(guò)權(quán)系數(shù)作用，在u產(chǎn)生輸出結(jié)果 ∑WiXi，即有： u=∑WiXi=W1X1+W2X2+…+WnXn 再把期望輸出信號(hào)Y(t)和u進(jìn)行比較，從而產(chǎn)生誤差信號(hào)e。即權(quán)值調(diào)整機(jī)構(gòu)根據(jù)誤差e去對(duì)學(xué)習(xí)系統(tǒng)的權(quán)系數(shù)進(jìn)行修改，修改方向應(yīng)使誤差e變小，不斷進(jìn)行下去，使到誤差e為零，這時(shí)實(shí)際輸出值u和期望輸出值Y(t)完全一樣，則學(xué)習(xí)過(guò)程結(jié)束。 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)一般需要多次重復(fù)訓(xùn)練，使誤差值逐漸向零趨近，最后到達(dá)零。則這時(shí)才會(huì)使輸出與期望一致。故而神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)是消耗一定時(shí)期的，有的學(xué)習(xí)過(guò)程要重復(fù)很多次，甚至達(dá)萬(wàn)次級(jí)。原因在于神經(jīng)網(wǎng)絡(luò)的權(quán)系數(shù)W有很多分量W1，W2，----Wn；也即是一個(gè)多參數(shù)修改系統(tǒng)。系統(tǒng)的參數(shù)的調(diào)整就必定耗時(shí)耗量。目前，提高神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度，減少學(xué)習(xí)重復(fù)次數(shù)是十分重要的研究課題，也是實(shí)時(shí)控制中的關(guān)鍵問(wèn)題。 二、感知器的學(xué)習(xí)算法 感知器是有單層計(jì)算單元的神經(jīng)網(wǎng)絡(luò)，由線性元件及閥值元件組成。感知器如圖1-9所示。 圖1-9?? 感知器結(jié)構(gòu) 感知器的數(shù)學(xué)模型： (1-12) 其中：f[.]是階躍函數(shù)，并且有 (1-13) θ是閥值。 感知器的最大作用就是可以對(duì)輸入的樣本分類，故它可作分類器，感知器對(duì)輸入信號(hào)的分類如下： (1-14) 即是，當(dāng)感知器的輸出為1時(shí)，輸入樣本稱為A類；輸出為-1時(shí)，輸入樣本稱為B類。從上可知感知器的分類邊界是： (1-15) 在輸入樣本只有兩個(gè)分量X1，X2時(shí)，則有分類邊界條件： (1-16) 即 ???? W1X1+W2X2-θ=0?????? (1-17) 也可寫(xiě)成 (1-18) 這時(shí)的分類情況如固1—10所示。 感知器的學(xué)習(xí)算法目的在于找尋恰當(dāng)?shù)臋?quán)系數(shù)w＝(w1．w2，…，Wn)，使系統(tǒng)對(duì)一個(gè)特 定的樣本x＝(xt，x2，…，xn)熊產(chǎn)生期望值d。當(dāng)x分類為A類時(shí)，期望值d＝1；X為B類 時(shí)，d=-1。為了方便說(shuō)明感知器學(xué)習(xí)算法，把閥值θ并人權(quán)系數(shù)w中，同時(shí)，樣本x也相應(yīng)增加一 個(gè)分量xn+1。故令： Wn+1=-θ，Xn+1=1????? (1-19) 則感知器的輸出可表示為： (1-20) 感知器學(xué)習(xí)算法步驟如下： 1．對(duì)權(quán)系數(shù)w置初值 對(duì)權(quán)系數(shù)w＝(W1．W2，…，Wn，Wn+1)的各個(gè)分量置一個(gè)較小的零隨機(jī)值，但Wn+1＝ —g。并記為Wl(0)，W2(0)，…，Wn(0)，同時(shí)有Wn+1(0)＝-θ。這里Wi(t)為t時(shí)刻從第i個(gè) 輸入上的權(quán)系數(shù)，i＝1，2，…，n。Wn+1(t)為t時(shí)刻時(shí)的閥值。 圖1-10 感知器的分類例子 2．輸入一樣本X＝(X1，X2，…，Xn+1)以及它的期望輸出d。 期望輸出值d在樣本的類屬不同時(shí)取值不同。如果x是A類，則取d＝1,如果x是B類，則取-1。期望輸出d也即是教師信號(hào)。 3．計(jì)算實(shí)際輸出值Y 4．根據(jù)實(shí)際輸出求誤差e e＝d—Y(t)?????? (1-21) 5．用誤差e去修改權(quán)系數(shù) i=1,2,…,n,n+1????? (1-22) 其中，η稱為權(quán)重變化率，0<η≤1 在式(1—22)中，η的取值不能太大．如果1取值太大則會(huì)影響wi(t)的穩(wěn)定；的取值也不能太小，太小則會(huì)使Wi(t)的求取過(guò)程收斂速度太慢。 當(dāng)實(shí)際輸出和期望值d相同時(shí)有： Wi(t+1)=Wi(t) 6．轉(zhuǎn)到第2點(diǎn)，一直執(zhí)行到一切樣本均穩(wěn)定為止。 從上面式(1—14)可知，感知器實(shí)質(zhì)是一個(gè)分類器，它的這種分類是和二值邏輯相應(yīng)的。因此，感知器可以用于實(shí)現(xiàn)邏輯函數(shù)。下面對(duì)感知器實(shí)現(xiàn)邏輯函數(shù)的情況作一些介紹。 例：用感知器實(shí)現(xiàn)邏輯函數(shù)X1VX2的真值： ? X1 0011 X2 0101 X1 V X2 0111 以X1VX2＝1為A類，以X1VX2=0為B類，則有方程組 (1-23) 即有： (1-24) 從式(1—24)有： W1≥θ,W2≥θ 令 W1=1,W2=2 則有：θ≤1 取?? θ=0.5 則有：X1+X2-0.5=0,分類情況如圖1—11所示。 圖1-11? 邏輯函數(shù)X1VX2的分類 1．2．2 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的梯度算法 從感如器的學(xué)習(xí)算法可知，學(xué)習(xí)的目的是在于修改網(wǎng)絡(luò)中的權(quán)系數(shù)，使到網(wǎng)絡(luò)對(duì)于所輸入的模式樣本能正確分類。當(dāng)學(xué)習(xí)結(jié)束時(shí)，也即神經(jīng)網(wǎng)絡(luò)能正確分類時(shí)，顯然權(quán)系數(shù)就反映了同類輸人模式樣本的共同特征。換句話講，權(quán)系數(shù)就是存儲(chǔ)了的輸人模式。由于權(quán)系數(shù)是分散存在的，故神經(jīng)網(wǎng)絡(luò)自然而然就有分布存儲(chǔ)的特點(diǎn)。 前面的感知器的傳遞函數(shù)是階躍函數(shù)，所以，它可以用作分類器。前面一節(jié)所講的感知器學(xué)習(xí)算法因其傳遞函數(shù)的簡(jiǎn)單而存在局限性。 感知器學(xué)習(xí)算法相當(dāng)簡(jiǎn)單，并且當(dāng)函數(shù)線性可分時(shí)保證收斂。但它也存在問(wèn)題：即函數(shù)不是線性可分時(shí)，則求不出結(jié)果；另外，不能推廣到一般前饋網(wǎng)絡(luò)中。 為了克服存在的問(wèn)題，所以人們提出另一種算法——梯度算法(也即是LMS法)。 為了能實(shí)現(xiàn)梯度算法，故把神經(jīng)元的激發(fā)函數(shù)改為可微分函數(shù)，例如Sigmoid函數(shù)，非對(duì)稱Sigmoid函數(shù)為f(X)=1/(1+e-x),對(duì)稱Sigmoid函數(shù)f(X)=(1-e-x)/(1+e-x)；而不采用式(1—13)的階躍函數(shù)。 對(duì)于給定的樣本集Xi(i＝1，2，，n)，梯度法的目的是尋找權(quán)系數(shù)W*，使得f[W*.Xi]與期望輸出Yi盡可能接近。 設(shè)誤差e采用下式表示： (1-25) 其中，Yi＝f〔W*·Xi]是對(duì)應(yīng)第i個(gè)樣本Xi的實(shí)時(shí)輸出 Yi是對(duì)應(yīng)第i個(gè)樣本Xi的期望輸出。 要使誤差e最小，可先求取e的梯度： (1-26) 其中： (1-27) 令? Uk=W.Xk,則有： (1-28) 即有： (1-29) 最后有按負(fù)梯度方向修改權(quán)系數(shù)W的修改規(guī)則： (1-30) 也可寫(xiě)成： (1-31) 在上式(1—30)，式(1—31)中，μ是權(quán)重變化率，它視情況不同而取值不同，一般取0-1之間的小數(shù)。 很明顯，梯度法比原來(lái)感知器的學(xué)習(xí)算法進(jìn)了一大步。其關(guān)鍵在于兩點(diǎn)： 1．神經(jīng)元的傳遞函數(shù)采用連續(xù)的s型函數(shù)，而不是階躍函數(shù)； 2．對(duì)權(quán)系數(shù)的修改采用誤差的梯度去控制，而不是采用誤差去控制。故而有更好的動(dòng)態(tài)特能，即加強(qiáng)了收斂進(jìn)程。 但是梯度法對(duì)于實(shí)際學(xué)習(xí)來(lái)說(shuō)，仍然是感覺(jué)太慢；所以，這種算法仍然是不理想的。 1．2．3 反向傳播學(xué)習(xí)的BP算法 反向傳播算法也稱BP算法。由于這種算法在本質(zhì)上是一種神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的數(shù)學(xué)模型，所以，有時(shí)也稱為BP模型。 BP算法是為了解決多層前向神經(jīng)網(wǎng)絡(luò)的權(quán)系數(shù)優(yōu)化而提出來(lái)的；所以，BP算法也通常暗示著神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)是一種無(wú)反饋的多層前向網(wǎng)絡(luò)。故而．有時(shí)也稱無(wú)反饋多層前向網(wǎng)絡(luò)為BP模型。 在這里，并不要求過(guò)于嚴(yán)格去爭(zhēng)論和區(qū)分算法和模型兩者的有關(guān)異同。感知機(jī)學(xué)習(xí)算法是一種單層網(wǎng)絡(luò)的學(xué)習(xí)算法。在多層網(wǎng)絡(luò)中．它只能改變最后權(quán)系數(shù)。因此，感知機(jī)學(xué)習(xí)算法不能用于多層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)。1986年，Rumelhart提出了反向傳播學(xué)習(xí)算法，即BP(backpropagation)算法。這種算法可以對(duì)網(wǎng)絡(luò)中各層的權(quán)系數(shù)進(jìn)行修正，故適用于多層網(wǎng)絡(luò)的學(xué)習(xí)。BP算法是目前最廣泛用的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法之一，在自動(dòng)控制中是最有用的學(xué)習(xí)算法。 一、BP算法的原理 BP算法是用于前饋多層網(wǎng)絡(luò)的學(xué)習(xí)算法，前饋多層網(wǎng)絡(luò)的結(jié)構(gòu)一般如圖1—12所示 圖1-12? 網(wǎng)絡(luò)學(xué)習(xí)結(jié)構(gòu) 它含有輸人層、輸出層以及處于輸入輸出層之間的中間層。中間層有單層或多層，由于它們和外界沒(méi)有直接的聯(lián)系，故也稱為隱層。在隱層中的神經(jīng)元也稱隱單元。隱層雖然和外界不連接．但是，它們的狀態(tài)則影響輸入輸出之間的關(guān)系。這也是說(shuō)，改變隱層的權(quán)系數(shù)，可以改變整個(gè)多層神經(jīng)網(wǎng)絡(luò)的性能。 設(shè)有一個(gè)m層的神經(jīng)網(wǎng)絡(luò)，并在輸入層加有樣本X；設(shè)第k層的i神經(jīng)元的輸入總和表示為Uik，輸出Xik；從第k—1層的第j個(gè)神經(jīng)元到第k層的第i個(gè)神經(jīng)元的權(quán)系數(shù)為Wij各個(gè)神經(jīng)元的激發(fā)函數(shù)為f，則各個(gè)變量的關(guān)系可用下面有關(guān)數(shù)學(xué)式表示： Xik=f(Uik)?? (1-32) (1-33) 反向傳播算法分二步進(jìn)行，即正向傳播和反向傳播。這兩個(gè)過(guò)程的工作簡(jiǎn)述如下。 1．正向傳播 輸入的樣本從輸入層經(jīng)過(guò)隱單元一層一層進(jìn)行處理，通過(guò)所有的隱層之后，則傳向輸出層；在逐層處理的過(guò)程中，每一層神經(jīng)元的狀態(tài)只對(duì)下一層神經(jīng)元的狀態(tài)產(chǎn)生影響。在輸出層把現(xiàn)行輸出和期望輸出進(jìn)行比較，如果現(xiàn)行輸出不等于期望輸出，則進(jìn)入反向傳播過(guò)程。 2．反向傳播 反向傳播時(shí)，把誤差信號(hào)按原來(lái)正向傳播的通路反向傳回，并對(duì)每個(gè)隱層的各個(gè)神經(jīng)元的權(quán)系數(shù)進(jìn)行修改，以望誤差信號(hào)趨向最小。 二、BP算法的數(shù)學(xué)表達(dá) BP算法實(shí)質(zhì)是求取誤差函數(shù)的最小值問(wèn)題。這種算法采用非線性規(guī)劃中的最速下降方法，按誤差函數(shù)的負(fù)梯度方向修改權(quán)系數(shù)。 為了說(shuō)明BP算法，首先定義誤差函數(shù)e。取期望輸出和實(shí)際輸出之差的平方和為誤差函數(shù)，則有： (1-34) 其中：Yi是輸出單元的期望值；它也在這里用作教師信號(hào)； Xim是實(shí)際輸出；因?yàn)榈趍層是輸出層。 由于BP算法按誤差函數(shù)e的負(fù)梯度方向修改權(quán)系數(shù)，故權(quán)系數(shù)Wij的修改量Awij，和e (1-35) 也可寫(xiě)成 (1-36) 其中：η為學(xué)習(xí)速率，即步長(zhǎng)。 很明顯，根據(jù)BP算法原則，求ae/aWij最關(guān)鍵的。下面求ae/aWij；有 (1-37) 由于 (1-38) 故而 (1-39) 從而有 (1-40) 令 (1-41) 則有學(xué)習(xí)公式： (1-42) 其中：η為學(xué)習(xí)速率，即步長(zhǎng)，一般取0-1間的數(shù)。 從上面可知，dik實(shí)際仍末給出明顯的算法公式，下面求dik的計(jì)算公式。 (1-43) 從式(1-32)可知在式(1-43)中，有 (1-44) 為了方便進(jìn)行求導(dǎo)，取f為連續(xù)函數(shù)。一般取非線性連續(xù)函數(shù)，例如Sigmoid函數(shù)。當(dāng)取f為非對(duì)稱Sigmoid函數(shù)時(shí)，有： 則有：f'(Uik)=f'(Uik)(1-f(Uik)) ???????????? =Xik(1-Xik)??????????????? (1-45) 再考慮式(1—43)中的偏微分項(xiàng)ae／aXik，有兩種情況需考慮的： 如果k＝m，則是輸出層，這時(shí)有Yi是輸出期望值，它是常數(shù)。從式(1-34)有 (1-46) 從而有?? dim=Xim(1-Xim)(Xim-Yi) (1-47) 2．如果k<m，則該層是隱層．這時(shí)應(yīng)考慮上一層對(duì)它的作用，故有： (1-48) 從式(1—41)中，可知有： (1-49) 從式(1—33)中，可知有： (1-50) 故而有 (1-51) 最后有： (1-52) 從上述過(guò)程可知：多層網(wǎng)絡(luò)的訓(xùn)練方法是把一個(gè)樣本加到輸入層，并根據(jù)向前傳播的規(guī)則： ? Xik=f(Uik) 不斷一層一層向輸出層傳遞，最終在輸出層可以得到輸出Xim。 把Xim和期望輸出Yi進(jìn)行比較．如果兩者不等，則產(chǎn)生誤差信號(hào)e，接著則按下面公式反向傳播修改權(quán)系數(shù)： (1-53) 其中 dim=Xim(1-Xim)(Xim-Yi) 上面公式中，求取本層dik時(shí)，要用到高一層的dik+1；可見(jiàn)，誤差函數(shù)的求取是從輸出層開(kāi)始，到輸入層的反向傳播過(guò)程。在這個(gè)過(guò)程中不斷進(jìn)行遞歸求誤差。 通過(guò)多個(gè)樣本的反復(fù)訓(xùn)練，同時(shí)向誤差漸漸減小的方向?qū)?quán)系數(shù)進(jìn)行修正，以達(dá)最終消除誤差。從上面公式也可以知道，如果網(wǎng)絡(luò)的層數(shù)較多時(shí)，所用的計(jì)算量就相當(dāng)可觀，故而收斂速度不快。 為了加快收斂速度，一般考慮上一次的權(quán)系數(shù)，并以它作為本次修正的依據(jù)之一，故而有修正公式： (1-54) 其中：η為學(xué)習(xí)速率，即步長(zhǎng)，η＝0．1—0．4左右 ɑ為權(quán)系數(shù)修正常數(shù)，取0．7—0．9左右。 在上面，式(1—53)也稱為一般化的Delta法則。對(duì)于沒(méi)有隱層的神經(jīng)網(wǎng)絡(luò)，可取 (1-55) 其中：，Yi為期望輸出； Xj為輸出層的實(shí)際輸出； Xi為輸入層的輸入。 這顯然是一種十分簡(jiǎn)單的情況，式(1—55)也稱為簡(jiǎn)單Delta法則。 在實(shí)際應(yīng)用中，只有一般化的Delta法則式(1—53)或式(1—54)才有意義。簡(jiǎn)單Delta法則式(1—55)只在理論推導(dǎo)上有用。 三、BP算法的執(zhí)行步驟 在反向傳播算法應(yīng)用于前饋多層網(wǎng)絡(luò)時(shí)，采用Sigmoid為激發(fā)面數(shù)時(shí)，可用下列步驟對(duì)網(wǎng)絡(luò)的權(quán)系數(shù)Wij進(jìn)行遞歸求取。注意對(duì)于每層有n個(gè)神經(jīng)元的時(shí)候，即有i＝1，2，…，n；j＝1，2，…，n。對(duì)于第k層的第i個(gè)神經(jīng)元，則有n個(gè)權(quán)系數(shù)Wi1，Wi2，…，Win，另外取多—個(gè)Win+1用于表示閥值θi；并且在輸入樣本X時(shí)，取x＝(X1，X2，…，Xn，1)。 算法的執(zhí)行的步驟如下： 1．對(duì)權(quán)系數(shù)Wij置初值。 對(duì)各層的權(quán)系數(shù)Wij置一個(gè)較小的非零隨機(jī)數(shù)，但其中Wi,n+1=-θ。 2．輸入一個(gè)樣本X＝(xl，x2，…，xn，1)，以及對(duì)應(yīng)期望輸出Y＝(Y1，Y2，…，Yn)。 3．計(jì)算各層的輸出 對(duì)于第k層第i個(gè)神經(jīng)元的輸出Xik，有： Xik=f(Uik) 4．求各層的學(xué)習(xí)誤差dik 對(duì)于輸出層有k＝m，有 dim=Xim(1-Xim)(Xim-Yi) 對(duì)于其他各層，有 5．修正權(quán)系數(shù)Wij和閥值θ 用式(1—53)時(shí)有： 用式(1—54)時(shí)有： 其中： 6．當(dāng)求出了各層各個(gè)權(quán)系數(shù)之后，可按給定品質(zhì)指標(biāo)判別是否滿足要求。如果滿足要求，則算法結(jié)束；如果未滿足要求，則返回(3)執(zhí)行。 這個(gè)學(xué)習(xí)過(guò)程，對(duì)于任一給定的樣本Xp＝(Xp1，Xp2，…Xpn，1)和期望輸出Yp=(Yp1，Yp2，…，Ypn)都要執(zhí)行，直到滿足所有輸入輸出要求為止。 1.3 Hopfield模型

1982年，J．Hopfield提出了可用作聯(lián)想存儲(chǔ)器的互連網(wǎng)絡(luò)，這個(gè)網(wǎng)絡(luò)稱為Hopfield網(wǎng)絡(luò)模型，也稱Hopfield模型。Hopfield神經(jīng)網(wǎng)絡(luò)模型是一種循環(huán)神經(jīng)網(wǎng)絡(luò)，從輸出到輸入有反饋連接。Hopfield網(wǎng)絡(luò)有離散型和連續(xù)型兩種。

反饋神經(jīng)網(wǎng)絡(luò)由于其輸出端有反饋到其輸入端；所以，Hopfield網(wǎng)絡(luò)在輸入的激勵(lì)下，會(huì)產(chǎn)生不斷的狀態(tài)變化。當(dāng)有輸入之后，可以求取出Hopfield的輸出，這個(gè)輸出反饋到輸入從而產(chǎn)生新的輸出，這個(gè)反饋過(guò)程一直進(jìn)行下去。如果Hopfield網(wǎng)絡(luò)是一個(gè)能收斂的穩(wěn)定網(wǎng)絡(luò)，則這個(gè)反饋與迭代的計(jì)算過(guò)程所產(chǎn)生的變化越來(lái)越小，一旦到達(dá)了穩(wěn)定平衡狀態(tài)；那么Hopfield網(wǎng)絡(luò)就會(huì)輸出一個(gè)穩(wěn)定的恒值。對(duì)于一個(gè)Hopfield網(wǎng)絡(luò)來(lái)說(shuō)，關(guān)鍵是在于確定它在穩(wěn)定條件下的權(quán)系數(shù)。

應(yīng)該指出：反饋網(wǎng)絡(luò)有穩(wěn)定的，也有不穩(wěn)定的。對(duì)于Hopfield網(wǎng)絡(luò)來(lái)說(shuō)，還存在如何判別它是穩(wěn)定網(wǎng)絡(luò)，亦或是不穩(wěn)定的問(wèn)題；而判別依據(jù)是什么，也是需要確定的。

1．3．1 離散Hopfield網(wǎng)絡(luò)

Hopfield最早提出的網(wǎng)絡(luò)是二值神經(jīng)網(wǎng)絡(luò)，神經(jīng)元的輸出只取1和0這兩個(gè)值，所以，也稱離散Hopfield神經(jīng)網(wǎng)絡(luò)。在離散HopfieId網(wǎng)絡(luò)中，所采用的神經(jīng)元是二值神經(jīng)元；故而，所輸出的離散值1和0分別表示神經(jīng)元處于激活和抑制狀態(tài)。

首先考慮由三個(gè)神經(jīng)元組成的離散Hopfield神經(jīng)網(wǎng)絡(luò)，其結(jié)構(gòu)如圖1—13中所示。

在圖中，第0層僅僅是作為網(wǎng)絡(luò)的輸人，它不是實(shí)際神經(jīng)元，所以無(wú)計(jì)算功能；而第一層是實(shí)際神經(jīng)元，故而執(zhí)行對(duì)輸人信息和權(quán)系數(shù)乘積求累加和，并由非線性函數(shù)f處理后產(chǎn)生輸出信息。f是一個(gè)簡(jiǎn)單的閥值函效，如果神經(jīng)元的輸出信息大于閥值θ，那么，神經(jīng)元的輸出就取值為1；小于閥值θ，則神經(jīng)元的輸出就取值為θ。

?

?

圖1-13? 三神經(jīng)元組成的Hopfield網(wǎng)絡(luò)

對(duì)于二值神經(jīng)元，它的計(jì)算公式如下

其中：x_i為外部輸入。并且有：

Y_i=1,當(dāng)U_i≥θ_i時(shí)

Y_i=0,當(dāng)U_i<θ_i時(shí)

對(duì)于一個(gè)離散的Hopfield網(wǎng)絡(luò)，其網(wǎng)絡(luò)狀態(tài)是輸出神經(jīng)元信息的集合。對(duì)于一個(gè)輸出層是n個(gè)神經(jīng)元的網(wǎng)絡(luò)，則其t時(shí)刻的狀態(tài)為一個(gè)n維向量：

Y(t)=[Y₁(t),Y₂(t),^...,Y_n(t)]^T

故而，網(wǎng)絡(luò)狀態(tài)有2ⁿ個(gè)狀態(tài)；因?yàn)閅j(t)(j＝1……n)可以取值為1或0；故n維向量Y(t)有2ⁿ種狀態(tài)，即是網(wǎng)絡(luò)狀態(tài)。

對(duì)于三個(gè)神經(jīng)元的離散Hopfield網(wǎng)絡(luò)，它的輸出層就是三位二進(jìn)制數(shù)；每一個(gè)三位二進(jìn)制數(shù)就是一種網(wǎng)絡(luò)狀態(tài)，從而共有8個(gè)網(wǎng)絡(luò)狀態(tài)。這些網(wǎng)絡(luò)狀態(tài)如圖1—14中所示。在圖中，立方體的每一個(gè)頂角表示一種網(wǎng)絡(luò)狀態(tài)。同理，對(duì)于n個(gè)神經(jīng)元的輸出層，它有2ⁿ個(gè)網(wǎng)絡(luò)狀態(tài)，也和一個(gè)n維超立方體的頂角相對(duì)應(yīng)。

?

?

圖1-14?? 三神經(jīng)元輸出層的網(wǎng)絡(luò)狀態(tài)

如果Hopfield網(wǎng)絡(luò)是一個(gè)穩(wěn)定網(wǎng)絡(luò)，那么在網(wǎng)絡(luò)的輸入端加入一個(gè)輸入向量，則網(wǎng)絡(luò)的狀態(tài)會(huì)產(chǎn)生變化，也就是從超立方體的一個(gè)頂角轉(zhuǎn)移向另一個(gè)頂角，并且最終穩(wěn)定于一個(gè)特定的頂角。

對(duì)于一個(gè)由n個(gè)神經(jīng)元組成的離散Hopfield網(wǎng)絡(luò)，則有n*n權(quán)系數(shù)矩陣w：

W={W_ij} i=1,2,^...,n? j=1,2,^...,n

同時(shí)，有n維閥值向量θ：

θ=[θ₁,θ₂,^...θ_n]^T

一船而言，w和θ可以確定一個(gè)唯一的離散Hopfield網(wǎng)絡(luò)。對(duì)于圖1—13所示的三神經(jīng)元組成的Hopfield網(wǎng)絡(luò)，也可以改用圖1—15所示的圖形表示，這兩個(gè)圖形的意義是一樣的。考慮離散Hopfield網(wǎng)絡(luò)的一船節(jié)點(diǎn)狀態(tài)；用Y_j(t)表示第j個(gè)神經(jīng)元，即節(jié)點(diǎn)j在時(shí)刻t的狀態(tài)，則節(jié)點(diǎn)的下一個(gè)時(shí)刻(t+1)的狀態(tài)可以求出如下：

當(dāng)W_ij在i＝j時(shí)等于0，則說(shuō)明一個(gè)神經(jīng)元的輸出并不會(huì)反饋到它自己的輸入；這時(shí)，離教的HopfieId網(wǎng)絡(luò)稱為無(wú)自反饋網(wǎng)絡(luò)。

當(dāng)W_ij在i＝j時(shí)不等于0，則說(shuō)明—個(gè)神經(jīng)元的輸出會(huì)反饋到它自己的輸入；這時(shí)，離散的Hopfield網(wǎng)絡(luò)稱為有自反饋的網(wǎng)絡(luò)。

?

?

圖1-15 離散Hopfield網(wǎng)絡(luò)的另外一種圖示

1．串行(異步)方式

在時(shí)刻t時(shí)，只有某一個(gè)神經(jīng)元j的狀態(tài)產(chǎn)生變化，而其它n-1個(gè)神經(jīng)元的狀態(tài)不變這時(shí)稱串行工作方式。并且有

Y_i(t+1)=Y_j(t)? i≠j

在不考慮外部輸人時(shí)，則有

2．并行(同步)方式

在任一時(shí)刻t，所有的神經(jīng)元的狀態(tài)都產(chǎn)生了變化；則稱并行工作方式。并且有

在不考慮外部輸入時(shí)，則有

??? j=1,2,^...,n

對(duì)于一個(gè)網(wǎng)絡(luò)來(lái)說(shuō)，穩(wěn)定性是一個(gè)重大的性能指標(biāo)。

對(duì)于離散Hopfield網(wǎng)絡(luò)，其狀態(tài)為Y(t)：

Y(t)=[Y₁(t),Y₂(t),^...,Y_n(t)]^T

如果，對(duì)于任何△t>0．當(dāng)神經(jīng)網(wǎng)絡(luò)從t＝0開(kāi)始，有初始狀態(tài)Y(0)；經(jīng)過(guò)有限時(shí)刻t，有：

Y(t+△t)=Y(t)

則稱網(wǎng)絡(luò)是穩(wěn)定的。

在串行方式下的穩(wěn)定性稱之為串行穩(wěn)定性。同理，在并行方式的穩(wěn)定性稱之為并行穩(wěn)定性。在神經(jīng)網(wǎng)絡(luò)穩(wěn)定時(shí)，其狀態(tài)稱穩(wěn)定狀態(tài)。

從離散的Hopfield網(wǎng)絡(luò)可以看出：它是一種多輸入，含有閥值的二值非線性動(dòng)力系統(tǒng)。在動(dòng)力系統(tǒng)中，平衡穩(wěn)定狀態(tài)可以理解為系統(tǒng)的某種形式的能量函數(shù)在系統(tǒng)運(yùn)動(dòng)過(guò)程中，其能量值不斷減小，最后處于最小值。

對(duì)Hopfield網(wǎng)絡(luò)引入一個(gè)Lyapunov函數(shù)，即所謂能量函數(shù)：

即有：

離散Hopfield網(wǎng)絡(luò)有二種不同的工作方式：

	(1-46)
對(duì)于神經(jīng)元j，其能量函數(shù)可表示為
	(1-47)

也即是有

神經(jīng)元j的能量變化量表示為△E_j：

(1-48)

?

圖1-19? 協(xié)作——競(jìng)爭(zhēng)網(wǎng)絡(luò)交互模型

圖1-22? 2/3規(guī)則

二、ART模型的基本工作原理

在ART模型中，顯然分為F1，F2兩層神經(jīng)網(wǎng)絡(luò)。對(duì)于注意子系統(tǒng)，F1和F2這兩層的作用可以用圖1—23表示。

?

圖1-23?? F1和F2層的信息處理

Fl層接收輸人模式I，則在F1中被轉(zhuǎn)換成激活模式X，X由F1中的激活神經(jīng)元表示，如圖1—23中的長(zhǎng)方形所示。這個(gè)模式x被短期存儲(chǔ)在F1中。只有激活值足夠高的神經(jīng)元才能產(chǎn)生輸出信號(hào)并通過(guò)連接傳送到F2的神經(jīng)元去。

在F1中，由x所產(chǎn)生的F1輸出模式為S，S模式通過(guò)連接送到F2的神經(jīng)元輸入端。并在F2的神經(jīng)元的輸入端土產(chǎn)生一個(gè)和s不同的模式T。從s到T的轉(zhuǎn)換稱為自適應(yīng)濾波。無(wú)論F1還是P2，其神經(jīng)元是一般形式的神經(jīng)元結(jié)構(gòu)。一般而言，這些神經(jīng)元的狀態(tài)．輸入和輸出并不相同。

在F2層中．模式T經(jīng)過(guò)F2神經(jīng)元的相互作用會(huì)迅速地被轉(zhuǎn)換。這個(gè)相互作用是對(duì)輸入模式T的比較及除弱增強(qiáng)過(guò)程。其結(jié)果產(chǎn)生一個(gè)短期存儲(chǔ)在F2中的模式Y(jié)，這也是F2的狀態(tài)。

在一般情況時(shí)，從T到Y(jié)這個(gè)比較，除弱增強(qiáng)的轉(zhuǎn)換會(huì)使多個(gè)神經(jīng)元處于激活狀態(tài)。這時(shí)，這種轉(zhuǎn)換結(jié)果變由F2中的多個(gè)神經(jīng)元群來(lái)表達(dá)。這個(gè)轉(zhuǎn)換過(guò)程自動(dòng)地把F1的輸入模式I劃分到不相交的各個(gè)識(shí)別聚類中去，每個(gè)類對(duì)應(yīng)于F2中的某個(gè)特征神經(jīng)元。在特殊情況時(shí)，從T到Y(jié)的比較、除弱增強(qiáng)過(guò)程就是在F2中選擇一個(gè)與當(dāng)前輸入I相對(duì)應(yīng)的而輸出值最大的神經(jīng)元的過(guò)程。所選擇的神經(jīng)元就是用于表示激活模式的唯一神經(jīng)為了說(shuō)明ART模型的有關(guān)工作基本原理，下面分五點(diǎn)進(jìn)行介紹：

1．自下而上的自適應(yīng)濾波和STM中的對(duì)比度增強(qiáng)過(guò)程。

輸入信號(hào)I加到注意子系統(tǒng)的F1的輸入端，經(jīng)過(guò)F1的節(jié)點(diǎn)變換成激活模式X，這一過(guò)程起到特征檢出作用。
在F1中，激活值較高的神經(jīng)元就會(huì)有輸出到F2的信號(hào)，并成為輸出模式s．s經(jīng)過(guò)F1到F2的連接通道時(shí)受到加權(quán)組合(LTM)，變換成模式T后作用于F2的輸入端。S到T的變換稱為自適應(yīng)濾波。F2接收到T后通過(guò)神經(jīng)元間的相互作用迅速產(chǎn)生對(duì)比度增強(qiáng)了的激活模式Y(jié)，并且存儲(chǔ)于F2中。如圖1—24(a)所示。

這個(gè)階段的學(xué)習(xí)是一個(gè)變換系列：I—X—S—T—Y

2．自上而下的學(xué)習(xí)期望匹配和對(duì)已學(xué)習(xí)編碼的穩(wěn)定。

一旦當(dāng)自下而上的變換X—Y完成之后．Y就會(huì)產(chǎn)生自上而下的輸出信號(hào)的模式u，并送向F1，只有激活值足夠大的才會(huì)向反饋通道送出信號(hào)u。 u經(jīng)加權(quán)組合變換成模式v。v稱為自上而下的模板，或?qū)W習(xí)期望。

由于x和V這兩個(gè)模式對(duì)F1輸入，則它們的共同作用在F1中產(chǎn)生激活模式X^*；—般而言，x*和只由輸入信號(hào)產(chǎn)生的x模式不同。這時(shí)，F1的作用就是試圖使v和I匹配，其匹配結(jié)果確定了以后的作用過(guò)程。
這時(shí)的情況如圖1—24(b)所示。

3．注意子系統(tǒng)和取向子系統(tǒng)相互作用過(guò)程。

這個(gè)過(guò)程和輸入I有關(guān)。在圖1—24(a)中，在輸入模式I產(chǎn)生x的同時(shí)，也會(huì)激活取向子系統(tǒng)A；只是在A產(chǎn)生輸出之前，F1中的x對(duì)A所產(chǎn)生的輸出端就起禁止作用。當(dāng)F2的反饋模式v與P1的輸入模式[失配時(shí)，就會(huì)大大減弱這一禁止作用，當(dāng)減弱到一定的程度時(shí)，A就被激活。如圖1—24(c)所示。

A被激活之后就向F2送出重置信號(hào)．并作用于F2的全部神經(jīng)元，從而改變F2的狀態(tài)．取消了原來(lái)的自上而下的學(xué)習(xí)期望V；終止了V和I的失配；于是輸入I再次作用直到F2產(chǎn)生新的狀態(tài)Y*。如圖1—24(d)所示。

Y*會(huì)產(chǎn)生新的自上而下的學(xué)習(xí)期望v*，如果v*仍然和I失配，那么，取向子系統(tǒng)A繼續(xù)起作用；這樣．產(chǎn)生一個(gè)快速的一系列匹配與重置過(guò)程。這個(gè)過(guò)程控制LTM的搜索從調(diào)整了LW對(duì)外界環(huán)境的編碼。這個(gè)過(guò)程一直執(zhí)行下去，直到F2送出的模式v和輸人I相互匹配為止。

圖1-24? ART模型的工作過(guò)程

4．需考慮的一些特點(diǎn)

在注意子系統(tǒng)的增益控制及起動(dòng)這一自上而下的學(xué)習(xí)期望匹配過(guò)程中，還應(yīng)考慮一些有關(guān)特點(diǎn)。

例如在F1輸出向下而上的作用之前，F2已被激活，這時(shí)F2就會(huì)產(chǎn)生自上而下的學(xué)習(xí)期望并作用于Fl；這時(shí)則F1也會(huì)被激活，并產(chǎn)生自下而上的作用過(guò)程。顯然，需要對(duì)來(lái)自外部輸入的激活以及來(lái)自F2的反饋激活進(jìn)行區(qū)分。所以，設(shè)置一個(gè)輔助機(jī)構(gòu)進(jìn)行區(qū)分激活來(lái)源的工作。這個(gè)輔助機(jī)構(gòu)稱為注意增益控制。

為F2被激活時(shí)，注意起動(dòng)機(jī)構(gòu)會(huì)向F1選出學(xué)習(xí)期望信號(hào)，注意增益控制就會(huì)給出禁止作用，從而影響Fl對(duì)輸入響應(yīng)靈敏度，使得F1可以區(qū)分激活信號(hào)的來(lái)源。

5.匹配

采用2/3規(guī)則，以確定F1的輸出。這實(shí)際上是把存儲(chǔ)模式和輸入模式進(jìn)行匹配的規(guī)則。

三、ART模型的工作過(guò)程

在圖1—21所示的ART結(jié)構(gòu)中，F1可稱為比較層，F2可稱為識(shí)別層。

比較層F1接收輸入模式I，初始時(shí)不作任何變動(dòng)作為輸出向量S送去識(shí)別層F2；此后，F1同時(shí)接受識(shí)別層輸出的向量v和輸人模式I，還有增益控制的輸出，并按2／3規(guī)則產(chǎn)生輸出。在初始時(shí)，增益控制的輸出為I，而v設(shè)置為o，故有S等于輸入I。

識(shí)別層F2是用作輸入向量分類器的。在識(shí)別層中，只有一個(gè)神經(jīng)元和輸入的向量s最優(yōu)匹配，這個(gè)神經(jīng)元就會(huì)被激活，而其它神經(jīng)元?jiǎng)t被抑制。根據(jù)神經(jīng)元的結(jié)構(gòu)原理，最優(yōu)匹配規(guī)則如下：

其中： S是輸入F2的向量；s=(sl，s2，…，Sn)；

w3是識(shí)別層中第j個(gè)神經(jīng)元和比較層中神經(jīng)元從F1一F2的權(quán)系數(shù)向量wj=(W1j，W2j......)，

wc是識(shí)別層中最優(yōu)匹配神經(jīng)元c從FI—F2的權(quán)系數(shù)向量Wc＝(W1c，W2c……)。

應(yīng)該注意：最優(yōu)匹配神經(jīng)元c到比較層神經(jīng)元有從F2一FI的權(quán)系數(shù)向量Wc’，Wr’＝(Wc1,Wc2……)很明顯，Wc和Wc’就組成了輸入向量的類別樣本；也即是權(quán)系數(shù)的形態(tài)表示一類模式。

在識(shí)別層中，為了使一個(gè)神經(jīng)元有最大輸出值并取得競(jìng)爭(zhēng)的優(yōu)勝，并抑制其它神經(jīng)元。故而識(shí)別層有橫向連接，每個(gè)神經(jīng)元的輸出和正的權(quán)系數(shù)相乘后作本神經(jīng)元的一個(gè)輸入，而其它神經(jīng)元的輸出和負(fù)權(quán)系數(shù)相乘后再作為本神經(jīng)元的輸入。這種作用等于加強(qiáng)自身，抑制其它。從而保證了只有一個(gè)神經(jīng)元被激活。這種情況如圖1—25所示。

?

圖1-25 F2層的橫向連接

增益控制有兩部分，它們的作用功能不同。識(shí)別層F2的增益控制輸出原則為：只要輸入向量I有一個(gè)元素為1，則輸出1。比較層F1的增益控制原則為：只要在I有一個(gè)元素為1，同時(shí)F2的輸出向量U全部元素為0時(shí)，才輸出1。

重置作用是在輸入信號(hào)I和F1的輸出s之間的匹配存在問(wèn)題，差別大于某警戒值時(shí)．則發(fā)清零信號(hào)到F2。以便重新進(jìn)行識(shí)別。

ART網(wǎng)絡(luò)的學(xué)習(xí)分類分為三部，即識(shí)別，比較和搜索。下面作簡(jiǎn)要說(shuō)明。

1．識(shí)別

初始化時(shí)，網(wǎng)絡(luò)無(wú)輸人信號(hào)，故I全部元素為0；識(shí)別層F2增益控制輸出為0；識(shí)別層F2輸出全部為0。在有模式I輸入后，I必有元素為1，故F1增益控制、F2增益控制均輸出1；比較層F1按2/3規(guī)則全部復(fù)制I作為輸出；S＝(s₁，s₂，…，S_n)。接著識(shí)別層F2的每個(gè)神經(jīng)元j執(zhí)行下面操作；從而求出最優(yōu)匹配神經(jīng)元C：

則神經(jīng)元C輸出1，其余輸出U。這些輸出送回比較層F1。F2輸出的值為U＝(U1，U2……)。找尋最優(yōu)匹配神經(jīng)元C的過(guò)程就是識(shí)別。

2．比較

從識(shí)別層F2反饋到Fl的向量U不再全部為0，故而，F1增益控制輸出0。按2/3規(guī)則，只有輸人向量I及反饋向量U的元素同時(shí)為1所激勵(lì)的神經(jīng)元才會(huì)被激活。從另一個(gè)角度講．就是來(lái)自F2的反饋強(qiáng)迫輸入向量I中那些不匹配存儲(chǔ)模式u的S元素為0。

如果I與U不匹配，則產(chǎn)生的S只有少數(shù)元素為1，這也說(shuō)明模式U不是所要尋找的I模式。取向子系統(tǒng)對(duì)I和s的相符程度進(jìn)行判別，如果低于結(jié)定的警戒值，則發(fā)出重置信號(hào)，使識(shí)別層F2激活的神經(jīng)元清零；這也說(shuō)明該神經(jīng)元失去競(jìng)爭(zhēng)的資格。則到此這個(gè)階段分類比較過(guò)程結(jié)束。如果I與U匹配，則輸入模式I所屬的類別已找到，分類結(jié)束。

3．搜索

在I與U不匹配時(shí)，為了找到較好的匹配必須對(duì)其余的模式進(jìn)行搜索。重置信號(hào)把識(shí)別層F₂的神經(jīng)元全部清0，則F₁增益控制又輸出1，網(wǎng)絡(luò)返回到初始狀態(tài)。輸入模式I再進(jìn)行輸入，識(shí)別層的另一個(gè)神經(jīng)元會(huì)取得優(yōu)勝，則反饋一個(gè)新的存儲(chǔ)模式U送回比較層F₁。接著又進(jìn)行匹配比較，如不匹配，則又重置識(shí)別層……不斷執(zhí)行下去。

搜索過(guò)程直到產(chǎn)生下列情況之一才會(huì)停止：

(1)找到一個(gè)存儲(chǔ)模式，在警戒值范圍內(nèi)和輸入模式I匹配；則ART網(wǎng)絡(luò)進(jìn)入學(xué)習(xí)階段。修正和匹配神經(jīng)元C相關(guān)的權(quán)系數(shù)W_ic和W_ci。

(2)搜索了全部模式后，沒(méi)有一個(gè)模式能夠和I相似匹配；則網(wǎng)絡(luò)也進(jìn)人學(xué)習(xí)階段。把原來(lái)來(lái)分配模式的神經(jīng)元j賦于輸人模式I，構(gòu)造相應(yīng)的權(quán)系數(shù)W_ij和W_ji，并作為樣本模式存儲(chǔ)。

特別應(yīng)指出的是：搜索過(guò)程是包含了識(shí)別和比較二個(gè)階段的。搜索不過(guò)是識(shí)別—比較—識(shí)別—比較……的多次重復(fù)。

嚴(yán)格來(lái)說(shuō)，ART應(yīng)分成搜索和學(xué)習(xí)這兩種最主要的過(guò)程和功能。

1．4．3ART模型的數(shù)學(xué)描述

在ART模型中，F₁或F₂中的神經(jīng)元用N_k表示，神經(jīng)元被激活后產(chǎn)生的激活值用X_k表示，從神經(jīng)生理學(xué)的研究結(jié)果，可以知道神經(jīng)元的激活值，即神經(jīng)元未經(jīng)s函數(shù)處理的輸出X_k滿足下面的微分方程：

(1-60)

其中：e是遠(yuǎn)小于1的正實(shí)數(shù)；

J_k⁺是送到神經(jīng)元Nk的所有激勵(lì)輸入之和

J_k^-是送到神經(jīng)元Nh的所有抑制輸入之和

A，B，C是非負(fù)常數(shù)；

X_k的取值范圍為[-BC^-1，A^-1]

一、F₁層的數(shù)學(xué)描述

用N_i表示F₁的神經(jīng)元，并且i=1，2，…，n，

則有

(1-61)

很明顯，有F₁的激活模式X

X={X₁,X₂,...X_n}

1.J_i⁺的形式

由于F₁神經(jīng)元N_t的激勵(lì)輸入J_i⁺是自下而上的輸入I_i以及自上而下的輸入v_i之和，故而有

J_i⁺=I_i+V_i

其中Ii是一個(gè)n維輸入向量；I={I₁,I₂,…I_n}；

；這里，f(X_j)是F₂中神經(jīng)元N_i的輸出，W_ji是N_j到N_i的連接權(quán)系數(shù)；

D1是系數(shù)。

v＝{v₁，v₂，…，v_n}，也是n維間量。

2.J_i^-的形式

對(duì)F1層，抑制輸入Ji-是由注意子系統(tǒng)增益控制信號(hào)來(lái)控制，即

j=n+1,n+2,...,n+m

當(dāng)且僅當(dāng)F2的激活值很高時(shí)，J_i^-＝0，否則J_i^->0。

二、F₂層的數(shù)學(xué)描述

用N_j表示F₂的神經(jīng)元．并且j＝n+1，n+2，…，n+m，則有：

(1-62)

則有F₂的激活模式Y(jié)

Y={X_n+1,X_n+2,...X_n+m}

選擇F₂中的激活模式的輸入和參數(shù)，使到F₂中具有來(lái)自F₁的最大輸入的神經(jīng)元取得競(jìng)爭(zhēng)的勝利。故而對(duì)J_j⁺和J_j^-考慮應(yīng)有如下形式：

1.J_j⁺的形式

Jj+=g(Xj)+Tj

其中：g(x_j)為N_j的自反饋信號(hào)；
T_j是從F₁來(lái)的到F₂的輸入模式；，這里的h(x_i)是F中神經(jīng)元N_i的輸出，D₂是系數(shù)；

W_ij是F₁到F₂的神經(jīng)元的連接權(quán)系數(shù)。

2.J_j^-的形式

對(duì)應(yīng)于圖1—24中的情況，可以看出向量S，T，U，V的關(guān)系，并且有

S={h(X₁),h(X₂),...,h(X_n)}

T={T_n+1,T_n+2,...,T_n+m}

U={f(X_n+1),f(X_n+2),...,h(X_n+m)}

V={V₁,V₂,...,V_n}

并且有?? I={I₁,I₂,...,I_n}

(1-49)

其中：E_j為神經(jīng)元j的能量；

△E_j為神經(jīng)元j的能量變化；

W_ij為神經(jīng)元i到神經(jīng)元j的權(quán)系數(shù)：

Y_i為神經(jīng)元j的輸出；

X_j為神經(jīng)元j的外部輸入；

θ_j為神經(jīng)元j的閥值；

△Y_j為神經(jīng)元j的輸出變化。

如果，令

U_j=ΣW_ijY_i+X_j

則△E_j可表示為：

考慮如下兩種情況：

1．如果U_j≥θ_j，即神經(jīng)元j的輸入結(jié)果的值大于閥值，則U_j-θ_j≥0，則從二值神經(jīng)元的計(jì)算公式知道：Y_j的值保持為1，或者從0變到1。這說(shuō)明Y_j的變化△Y_j只能是0或正值。這時(shí)很明顯有△E_j：

△E_j≤0

這說(shuō)明Hopfield網(wǎng)絡(luò)神經(jīng)元的能量減少或不變。

2．如果U_j≤θ_j，即神經(jīng)元j的輸入結(jié)果的值小于閥值，則U_j-θ_j≥0，則從二值神經(jīng)元的計(jì)算公式可知：Y_j的值保持為0，或者從1變到0。這說(shuō)明Y_j的變化△Y_j只能是零或負(fù)位。這時(shí)則有△E_j：

△E_j≤0

這也說(shuō)明Hopfield網(wǎng)絡(luò)神經(jīng)元的能量減少。

上面兩點(diǎn)說(shuō)明了Hopfield網(wǎng)絡(luò)在權(quán)系數(shù)矩陣W的對(duì)角線元素為0，而且W矩陣元素對(duì)稱時(shí)，Hopfield網(wǎng)絡(luò)是穩(wěn)定的。

Coben和Grossberg在1983年給出了關(guān)于Hopfield網(wǎng)絡(luò)穩(wěn)定的充分條件，他們指出：

如果Hopfield網(wǎng)絡(luò)的權(quán)系數(shù)矩陣w是一個(gè)對(duì)稱矩陣，并且，對(duì)角線元素為0．則這個(gè)網(wǎng)絡(luò)是穩(wěn)定的。即是說(shuō)在權(quán)系數(shù)矩陣W中，如果

i=j時(shí)，W_ij=0

i≠j時(shí)，W_ij=W_ji

則Hopfield網(wǎng)絡(luò)是穩(wěn)定的。

應(yīng)該指出：這只是Hopfield網(wǎng)絡(luò)穩(wěn)定的充分條件．而不是必要條件。在實(shí)際中有很多穩(wěn)定的Hopfield網(wǎng)絡(luò)，但是它們并不滿足權(quán)系數(shù)矩陣w是對(duì)稱矩陣這一條件。

上面的分析可知：

無(wú)自反饋的權(quán)系數(shù)對(duì)稱Hopfield網(wǎng)絡(luò)是穩(wěn)定的網(wǎng)絡(luò)。它如圖1—16，圖1—17所示。

圖1-16? 對(duì)角線權(quán)系數(shù)為0的對(duì)稱Hopfield網(wǎng)絡(luò)

?

圖1-17? 對(duì)角線權(quán)系數(shù)為0的對(duì)稱網(wǎng)另一圖示

Hopfield網(wǎng)絡(luò)的一個(gè)功能是可用于聯(lián)想記憶，也即是聯(lián)想存儲(chǔ)器。這是人類的智能特點(diǎn)之一。人類的所謂“觸景生情”就是見(jiàn)到一些類同過(guò)去接觸的景物，容易產(chǎn)生對(duì)過(guò)去情景的回昧和思憶。對(duì)于Hopfield網(wǎng)絡(luò)，用它作聯(lián)想記憶時(shí)，首先通過(guò)一個(gè)學(xué)習(xí)訓(xùn)練過(guò)程確定網(wǎng)絡(luò)中的權(quán)系數(shù)，使所記憶的信息在網(wǎng)絡(luò)的n維超立方體的某一個(gè)頂角的能量最小。當(dāng)網(wǎng)絡(luò)的權(quán)系數(shù)確定之后，只要向網(wǎng)絡(luò)給出輸入向量，這個(gè)向量可能是局部數(shù)據(jù)．即不完全或部分不正確的數(shù)據(jù)，但是網(wǎng)絡(luò)仍然產(chǎn)生所記憶的信息的完整輸出。1984年Hopfield開(kāi)發(fā)了一種用n維Hopfield網(wǎng)絡(luò)作聯(lián)想存儲(chǔ)器的結(jié)構(gòu)。在這個(gè)網(wǎng)絡(luò)中，權(quán)系數(shù)的賦值規(guī)則為存儲(chǔ)向量的外積存儲(chǔ)規(guī)則(out product storage prescription)，其原理如下：

設(shè)有m個(gè)樣本存儲(chǔ)向量x₁，x₂，…，x_m

X_1={X_11,X_21,..._,X_m1}

X_2={X_12,X_22,...,X_m2}

_......

X_m={X_m1,X_m2,...,X_mm}

把這m個(gè)樣本向量存儲(chǔ)人Hopfield網(wǎng)絡(luò)中，則在網(wǎng)絡(luò)中第i，j兩個(gè)節(jié)點(diǎn)之間權(quán)系數(shù)的值為：

其中：k為樣本向量X_k的下標(biāo)，k＝1，2，…m；

i，j分別是樣本向量X_k的第i，j分量X_i，X_j的下標(biāo)；i，j＝1，2，…n。

對(duì)聯(lián)想存儲(chǔ)器的聯(lián)想檢索過(guò)程如下：

給定一個(gè)向量X。進(jìn)行聯(lián)想檢索求取在網(wǎng)絡(luò)中的存儲(chǔ)內(nèi)容。這時(shí)，把向量

X={X₁,X₂,...X_n}

的各個(gè)分量x₁，x₂，…，x_n賦于相對(duì)應(yīng)的節(jié)點(diǎn)j，(j＝1，2，…，n)，則節(jié)點(diǎn)有相應(yīng)的初始狀態(tài)Y_j(0)，則有

Y_j(0)=X_j，j＝1，2，…，n

接著，在Hopfield網(wǎng)絡(luò)中按動(dòng)力學(xué)系統(tǒng)原則進(jìn)行計(jì)算，得

Y_j(t+1)=f[ΣW_ijY_j(0)-θ_j]? , i,j＝1，2，…，n

其中，f[·]是非線性函數(shù)，可取階躍函數(shù)。

通過(guò)狀態(tài)不斷變化，最后狀態(tài)會(huì)穩(wěn)定下來(lái)．最終的狀態(tài)是和給定向量x最接近的樣本向量。所以，Hopfield網(wǎng)絡(luò)的最終輸出也就是給定向量聯(lián)想檢索結(jié)果。這個(gè)過(guò)程說(shuō)明，即使給定向量并不完全或部分不正確，也能找到正確的結(jié)果。在本質(zhì)上，它也有濾波功能。

1．3．2連續(xù)Hopfield網(wǎng)絡(luò)

連續(xù)Hopfield網(wǎng)絡(luò)的拓樸結(jié)構(gòu)和離散Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)相同。這種拓樸結(jié)構(gòu)和生物的神經(jīng)系統(tǒng)中大量存在的神經(jīng)反饋回路是相一致的。在連續(xù)Hopfield網(wǎng)絡(luò)中，和離散Hopfield網(wǎng)絡(luò)一樣，其穩(wěn)定條件也要求W_ij=W_ji。
連續(xù)Hopfield網(wǎng)絡(luò)和離散Hopfield網(wǎng)絡(luò)不同的地方在于其函數(shù)g不是階躍函數(shù)，而是S形的連續(xù)函數(shù)。一般取

g(u)=1/(1+e^-u)??????? (1-50)

連續(xù)Hopfield網(wǎng)絡(luò)在時(shí)間上是連續(xù)的．所以，網(wǎng)絡(luò)中各神經(jīng)元是處于同步方式工作的。考慮對(duì)于一個(gè)神經(jīng)細(xì)胞，即神經(jīng)元j，其內(nèi)部膜電位狀態(tài)用u_j表示．細(xì)胞膜輸入電容為C_j，細(xì)胞膜的傳遞電阻為R_j，輸出電壓為V_j，外部輸入電流用I_j表示，則連續(xù)Hopfield網(wǎng)絡(luò)可用圖1—18所示的電路表示。

(1-51)

其中：n是神經(jīng)網(wǎng)絡(luò)神經(jīng)元的個(gè)數(shù)

v_j(t)為輸出電位；

U_j(t)為輸入電位。

?

圖1-18? 連續(xù)Hopfield網(wǎng)絡(luò)的電路形式

對(duì)于連續(xù)Hopfield網(wǎng)絡(luò)，Hopfield給出如下穩(wěn)定性定理：

給出能量函數(shù)E(t)

(1-52)

其中：g^-1(v)是V_j(t)＝g_j(u_j(t))的反函數(shù)。

如果連續(xù)Hopfield網(wǎng)絡(luò)中神經(jīng)元傳遞函數(shù)是單調(diào)增長(zhǎng)的連續(xù)并有界函數(shù)，并且W_ij＝W_ji，則有

當(dāng)并且僅當(dāng)

時(shí)，有

這個(gè)定理的意義可以解釋如下：當(dāng)網(wǎng)絡(luò)神經(jīng)元的傳遞函數(shù)是S函數(shù)，并且網(wǎng)絡(luò)權(quán)系數(shù)矩陣對(duì)稱；則隨時(shí)間的變化網(wǎng)絡(luò)的能量會(huì)下降或不變；而且僅當(dāng)輸出電位隨時(shí)間變化不變時(shí)．網(wǎng)絡(luò)的能量才會(huì)不變。換而言之，在上述條件下的網(wǎng)絡(luò)是能量不變或下降的。

這個(gè)定理的證明過(guò)程如下：

對(duì)能量函數(shù)E(t)求時(shí)間的導(dǎo)數(shù)dE(t)／dt，則有

(1-53)

如果存在Wij＝Wji，則上式可寫(xiě)為

	(1-54)
從連續(xù)Hopfield網(wǎng)絡(luò)的動(dòng)態(tài)方程，有
	(1-55)
故上面(1—54)式可寫(xiě)成
	(1-56)
由于? Vj(t)=gj(Uj(t))	(1-57)
故而有? Uj(t)=gj-1(Vj(t))	(1-58)
從而有
	(1-59)
從?? g(u)=1/(1+exp(-u))	(1-60)

可知其反函數(shù)為單調(diào)升函數(shù)。因而對(duì)于dE(t)／dt中的g_j^-1(v_j(t))，必有單調(diào)升的特點(diǎn)．則其導(dǎo)數(shù)必定大于0，即

[g_j^-1(v_j(t))]'>0

同時(shí)容易知道

C_j>0

很明顯，在dE(t)／dt時(shí)，必定有

而且當(dāng)，僅當(dāng)

有

至此，則定理證明完畢。

這個(gè)定理說(shuō)明Hopfield網(wǎng)絡(luò)的能量函數(shù)E(t)是單調(diào)下降的；如果E(t)有下界，即有確定的極小值；那么網(wǎng)絡(luò)必定是穩(wěn)定的。而且，可以知道穩(wěn)定點(diǎn)對(duì)應(yīng)于能量函數(shù)的下界，即極小值。

下一步工作，只需證明能量函數(shù)有下界，那么．就可以證明網(wǎng)絡(luò)是穩(wěn)定的。

可以證明，如果Hopfield網(wǎng)絡(luò)的傳遞函數(shù)g是連續(xù)而且有界的，那么，能量函數(shù)E(t)是有界的。

最后，有如下結(jié)論：

當(dāng)Hopfield網(wǎng)絡(luò)的神經(jīng)元傳遞函數(shù)g是連續(xù)且有界的，例如Sigmoid函數(shù)，并且網(wǎng)絡(luò)的權(quán)系數(shù)矩陣對(duì)稱，則這個(gè)連續(xù)Hopfield網(wǎng)絡(luò)是穩(wěn)定的。在實(shí)際應(yīng)用中，任何一個(gè)系統(tǒng)，如果其優(yōu)化問(wèn)題可以用能量函數(shù)E(t)作為目標(biāo)函數(shù)，那么，總可以用連續(xù)Hopfield網(wǎng)絡(luò)對(duì)其進(jìn)行求解。由于引入能量函數(shù)E(t)，Hopfield使神經(jīng)網(wǎng)絡(luò)和問(wèn)題優(yōu)化直接對(duì)應(yīng)；這種工作是具開(kāi)拓性的。利用神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化計(jì)算，就是在神經(jīng)網(wǎng)絡(luò)這一動(dòng)力系統(tǒng)給出初始的估計(jì)點(diǎn)，即初始條件；然后隨網(wǎng)絡(luò)的運(yùn)動(dòng)傳遞而找到相應(yīng)極小點(diǎn)。這樣，大量的優(yōu)化問(wèn)題都可以用連續(xù)的Hopfield網(wǎng)來(lái)求解。這也是Hopfield網(wǎng)絡(luò)用于神經(jīng)計(jì)算的基本原因。

轉(zhuǎn)載于:https://www.cnblogs.com/penglink/archive/2009/04/10/1433100.html

總結(jié)

以上是生活随笔為你收集整理的【z】数字神经网络系统的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。