1. Self-Organization Network

? ? ? ? ?SOM和現(xiàn)在流行的ANN（MLP）模型在結(jié)構(gòu)上類似，都由非常簡(jiǎn)單的神經(jīng)元結(jié)構(gòu)組成，但是SOM是一類“無(wú)監(jiān)督學(xué)習(xí)”模型，一般的用法是將高維的input數(shù)據(jù)在低維的空間表示，因此SOM天然是一種降維方法。除了降維，SOM還可以用于數(shù)據(jù)可視化，以及聚類等應(yīng)用中。

? ? ? ? ??SOM是一種自組織（競(jìng)爭(zhēng)型）神經(jīng)網(wǎng)絡(luò)，除了SOM外，其他常見的自組織（競(jìng)爭(zhēng)型）神經(jīng)網(wǎng)絡(luò)還有對(duì)偶傳播(Counter propagation)網(wǎng)絡(luò)，自適應(yīng)共振理論（Adaptive Resonance Theory）網(wǎng)絡(luò)等。

? ? ? ? ? ?生物學(xué)研究表明，在人腦的感覺(jué)通道上，神經(jīng)元的組織原理是有序排列的。當(dāng)外界的特定時(shí)空信息輸入時(shí)，大腦皮層的特定區(qū)域興奮，而且類似的外界信息在對(duì)應(yīng)的區(qū)域是連續(xù)映像的。生物視網(wǎng)膜中有許多特定的細(xì)胞對(duì)特定的圖形比較敏感，當(dāng)視網(wǎng)膜中有若干個(gè)接收單元同時(shí)受特定模式刺激時(shí)，就使大腦皮層中的特定神經(jīng)元開始興奮，輸入模式接近，與之對(duì)應(yīng)的興奮神經(jīng)元也接近；在聽覺(jué)通道上，神經(jīng)元在結(jié)構(gòu)排列上與頻率的關(guān)系十分密切，對(duì)于某個(gè)頻率，特定的神經(jīng)元具有最大的響應(yīng)，位置相鄰的神經(jīng)元具有相近的頻率特征，而遠(yuǎn)離的神經(jīng)元具有的頻率特征差別也較大。大腦皮層中神經(jīng)元的這種響應(yīng)特點(diǎn)不是先天安排好的，而是通過(guò)后天的學(xué)習(xí)自組織形成的。

? ? ? ? ?在生物神經(jīng)系統(tǒng)中，存在著一種側(cè)抑制現(xiàn)象，即一個(gè)神經(jīng)細(xì)胞興奮以后，會(huì)對(duì)周圍其他神經(jīng)細(xì)胞產(chǎn)生抑制作用。這種抑制作用會(huì)使神經(jīng)細(xì)胞之間出現(xiàn)競(jìng)爭(zhēng)，其結(jié)果是某些獲勝，而另一些則失敗。表現(xiàn)形式是獲勝神經(jīng)細(xì)胞興奮，失敗神經(jīng)細(xì)胞抑制。自組織（競(jìng)爭(zhēng)型）神經(jīng)網(wǎng)絡(luò)就是模擬上述生物神經(jīng)系統(tǒng)功能的人工神經(jīng)網(wǎng)絡(luò)。

? ? ? ? ? 自組織（競(jìng)爭(zhēng)型）神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及其學(xué)習(xí)規(guī)則與其他神經(jīng)網(wǎng)絡(luò)相比有自己的特點(diǎn)。在網(wǎng)絡(luò)結(jié)構(gòu)上，它一般是由輸入層和競(jìng)爭(zhēng)層構(gòu)成的兩層網(wǎng)絡(luò)；兩層之間各神經(jīng)元實(shí)現(xiàn)雙向連接，而且網(wǎng)絡(luò)沒(méi)有隱含層。有時(shí)競(jìng)爭(zhēng)層各神經(jīng)元之間還存在橫向連接（注：上面說(shuō)的特點(diǎn)只是根據(jù)傳統(tǒng)網(wǎng)絡(luò)設(shè)計(jì)來(lái)說(shuō)的一般情況，隨著技術(shù)發(fā)展，尤其是深度學(xué)習(xí)技術(shù)的演進(jìn)，我認(rèn)為這種簡(jiǎn)單的自組織網(wǎng)絡(luò)也會(huì)有所改變，比如，變得更深，或者引入time series概念）。在學(xué)習(xí)算法上，它模擬生物神經(jīng)元之間的興奮、協(xié)調(diào)與抑制、競(jìng)爭(zhēng)作用的信息處理的動(dòng)力學(xué)原理來(lái)指導(dǎo)網(wǎng)絡(luò)的學(xué)習(xí)與工作，而不像多層神經(jīng)網(wǎng)絡(luò)(MLP)那樣是以網(wǎng)絡(luò)的誤差作為算法的準(zhǔn)則。競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)構(gòu)成的基本思想是網(wǎng)絡(luò)的競(jìng)爭(zhēng)層各神經(jīng)元競(jìng)爭(zhēng)對(duì)輸入模式響應(yīng)的機(jī)會(huì)，最后僅有一個(gè)神經(jīng)元成為競(jìng)爭(zhēng)的勝者。這一獲勝神經(jīng)元?jiǎng)t表示對(duì)輸入模式的分類。因此，很容易把這樣的結(jié)果和聚類聯(lián)系在一起。

2.?競(jìng)爭(zhēng)學(xué)習(xí)的概念與原理

一種自組織神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)如左圖，由輸入層和競(jìng)爭(zhēng)層組成。主要用于完成的任務(wù)基本還是“分類”和“聚類”，前者有監(jiān)督，后者無(wú)監(jiān)督。聚類的時(shí)候也可以看成將目標(biāo)樣本分類，只是是沒(méi)有任何先驗(yàn)知識(shí)的，目的是將相似的樣本聚合在一起，而不相似的樣本分離。

最常見的距離（相似度）計(jì)算方法就是歐氏距離和余弦相似度了，示意圖如下：

??

3.?學(xué)習(xí)向量量化LVQ神經(jīng)網(wǎng)絡(luò)

? ? ? ? ??在競(jìng)爭(zhēng)網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，學(xué)習(xí)向量化（learning vector quantization，LVQ）網(wǎng)絡(luò)被提出來(lái)，融合競(jìng)爭(zhēng)學(xué)習(xí)思想和有監(jiān)督學(xué)習(xí)算法的特點(diǎn)，通過(guò)教導(dǎo)信號(hào)對(duì)輸入樣本的分配類別進(jìn)行規(guī)定，從而克服自組織網(wǎng)絡(luò)采用無(wú)監(jiān)督學(xué)習(xí)算法帶來(lái)的缺乏分類信息的弱點(diǎn)。

? ? ? 3.1??向量量化

? ? ? ? ??向量量化的思路是，將高維輸入空間分成若干不同的區(qū)域，對(duì)每個(gè)區(qū)域確定一個(gè)中心向量作為聚類的中心，與其處于同一區(qū)域的輸入向量可用該中心向量來(lái)代表，從而形成了以各中心向量為聚類中心的點(diǎn)集。在圖像處理領(lǐng)域常用各區(qū)域中心點(diǎn)（向量）的編碼代替區(qū)域內(nèi)的點(diǎn)來(lái)存儲(chǔ)或傳輸，從而提出了各種基于向量量化的有損壓縮技術(shù)。

? ? ? ? ? 在二維輸入平面上表示的中心向量分布稱為Voronoi圖，如下圖所示：

自組織映射可以起到聚類作用，但無(wú)法直接分類或識(shí)別，因此它只是自適應(yīng)解決模式分類問(wèn)題兩步中的第一步。且把第二步：學(xué)習(xí)向量量化，采用監(jiān)督機(jī)制，在訓(xùn)練中加入教師信號(hào)作為分類信息對(duì)權(quán)值進(jìn)行細(xì)調(diào)，并對(duì)輸出神經(jīng)元預(yù)先指定其類別。

? ? ? ?3.2?LVQ網(wǎng)絡(luò)結(jié)構(gòu)與工作原理

競(jìng)爭(zhēng)層有m個(gè)神經(jīng)元，輸入層有n個(gè)神經(jīng)元，兩層之間完全連接。輸出層每個(gè)神經(jīng)元只與競(jìng)爭(zhēng)層中的一組神經(jīng)元連接，連接權(quán)重固定為1，訓(xùn)練過(guò)程中輸入層和競(jìng)爭(zhēng)層之間的權(quán)值逐漸被調(diào)整為聚類中心。當(dāng)一個(gè)樣本輸入LVQ網(wǎng)絡(luò)時(shí)，競(jìng)爭(zhēng)層的神經(jīng)元通過(guò)勝者為王學(xué)習(xí)規(guī)則產(chǎn)生獲勝神經(jīng)元，容許其輸出為1，其它神經(jīng)元輸出為0。與獲勝神經(jīng)元所在組相連的輸出神經(jīng)元輸出為1，而其它輸出神經(jīng)元為0，從而給出當(dāng)前輸入樣本的模式類。將競(jìng)爭(zhēng)層學(xué)習(xí)得到的類成為子類，而將輸出層學(xué)習(xí)得到的類成為目標(biāo)類。

? ? ? ?3.3?LVQ網(wǎng)絡(luò)結(jié)構(gòu)與工作原理

LVQ網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則結(jié)合了競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則和有導(dǎo)師學(xué)習(xí)規(guī)則，所以樣本集應(yīng)當(dāng)為{(xi，di)}。其中di為l維，對(duì)應(yīng)輸出層的l個(gè)神經(jīng)元，它只有一個(gè)分量為1，其他分量均為0。通常把競(jìng)爭(zhēng)層的每個(gè)神經(jīng)元指定給一個(gè)輸出神經(jīng)元，相應(yīng)的權(quán)值為1，從而得到輸出層的權(quán)值。比如某LVQ網(wǎng)絡(luò)競(jìng)爭(zhēng)層6個(gè)神經(jīng)元，輸出層3個(gè)神經(jīng)元，代表3類。若將競(jìng)爭(zhēng)層的1，3指定為第一個(gè)輸出神經(jīng)元，2，5指定為第二個(gè)輸出神經(jīng)元，3，6指定為第三個(gè)輸出神經(jīng)元。則競(jìng)爭(zhēng)層到輸出層的權(quán)值矩陣為:

訓(xùn)練預(yù)先定義好競(jìng)爭(zhēng)層到輸出層權(quán)重，從而指定了輸出神經(jīng)元類別，訓(xùn)練中不再改變。網(wǎng)絡(luò)的學(xué)習(xí)通過(guò)改變輸入層到競(jìng)爭(zhēng)層的權(quán)重來(lái)進(jìn)行。根據(jù)輸入樣本類別和獲勝神經(jīng)元所屬類別，可判斷當(dāng)前分類是否正確。若分類正確，則將獲勝神經(jīng)元的權(quán)向量向輸入向量方向調(diào)整，分類錯(cuò)誤則向相反方向調(diào)整。如下圖所示：

LVQ網(wǎng)絡(luò)學(xué)習(xí)算法的步驟如下:
（1） ? 初始化。競(jìng)爭(zhēng)層各神經(jīng)元權(quán)值向量隨機(jī)賦值小隨機(jī)數(shù)，確定初始學(xué)習(xí)速率和訓(xùn)練次數(shù)。
（2） ? 輸入樣本向量。
（3） ? 尋找獲勝神經(jīng)元。
（4） ? 根據(jù)分類是否正確按照不同規(guī)則調(diào)整獲勝神經(jīng)元的權(quán)值:當(dāng)網(wǎng)絡(luò)分類結(jié)果與教師信號(hào)一致時(shí)，向輸入樣本方向調(diào)整權(quán)值：

當(dāng)網(wǎng)絡(luò)分類結(jié)果與教師信號(hào)不一致時(shí)，向輸入樣本反方向調(diào)整權(quán)值：

其他非獲勝神經(jīng)元權(quán)值保持不變。
（5） ? 更新學(xué)習(xí)速率

（6） ? 當(dāng)訓(xùn)練次數(shù)未達(dá)到設(shè)定的次數(shù)時(shí)，轉(zhuǎn)到步驟(2)輸入下一個(gè)樣本，重復(fù)各步驟直到達(dá)到設(shè)定訓(xùn)練次數(shù)為止。上述訓(xùn)練過(guò)程中，要保證η（t）為單調(diào)下降函數(shù)。

? ? ? 3.4 總結(jié)

? ? ? ? ??LVQ網(wǎng)絡(luò)是SOFM網(wǎng)絡(luò)一種有監(jiān)督形式的擴(kuò)展，兩者有效結(jié)合可更好地發(fā)揮競(jìng)爭(zhēng)學(xué)習(xí)和有監(jiān)督學(xué)習(xí)的優(yōu)點(diǎn)。
網(wǎng)絡(luò)結(jié)構(gòu)-LVQ神經(jīng)網(wǎng)絡(luò)有三層組成：輸入層，競(jìng)爭(zhēng)層，線性輸出層
連接方式-輸入層與競(jìng)爭(zhēng)層之間采用全連接的方式，競(jìng)爭(zhēng)層與線性輸出層之間采用部分連接的方式。競(jìng)爭(zhēng)層神經(jīng)元個(gè)數(shù)總是大于線性輸出層神經(jīng)元個(gè)數(shù)，每個(gè)競(jìng)爭(zhēng)層神經(jīng)元只與一個(gè)線性輸出層神經(jīng)元相連接且連接權(quán)值恒為1。但是，每個(gè)線性輸出層神經(jīng)元可以與多個(gè)競(jìng)爭(zhēng)層神經(jīng)元相連接。競(jìng)爭(zhēng)層神經(jīng)元與線性輸出層神經(jīng)元的值只能是1或0。
? ? ? ? 當(dāng)某個(gè)輸入模式被送至網(wǎng)絡(luò)時(shí)，與輸入模式距離最近的競(jìng)爭(zhēng)層神經(jīng)元被激活，神經(jīng)元的狀態(tài)為“1”，而其他競(jìng)爭(zhēng)層神經(jīng)元的狀態(tài)均為“0”。因此，與被激活神經(jīng)元相連接的線性輸出層神經(jīng)元狀態(tài)也為“1”，而其他線性輸出層神經(jīng)元的狀態(tài)均為“0”。

總結(jié)

以上是生活随笔為你收集整理的Matlab神经网络十讲(7): Self-Organizing and LVQ Networks的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。