1.? 人工神經(jīng)網(wǎng)絡(luò)的分類

按性能分：連續(xù)型和離散型網(wǎng)絡(luò)，或確定型和隨機(jī)型網(wǎng)絡(luò)。

按拓?fù)浣Y(jié)構(gòu)分：前向網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)。

前向網(wǎng)絡(luò)有自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)(AdaptiveLinear，簡(jiǎn)稱Adaline)、單層感知器、多層感知器、BP等。

前向網(wǎng)絡(luò)，網(wǎng)絡(luò)中各個(gè)神經(jīng)元接受前一級(jí)的輸入，并輸出到下一級(jí)，網(wǎng)絡(luò)中沒有反饋，可以用一個(gè)有向無環(huán)路圖表示。這種網(wǎng)絡(luò)實(shí)現(xiàn)信號(hào)從輸入空間到輸出空間的變換，它的信息處理能力來自于簡(jiǎn)單非線性函數(shù)的多次復(fù)合。網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，易于實(shí)現(xiàn)。反傳網(wǎng)絡(luò)是一種典型的前向網(wǎng)絡(luò)。

反饋網(wǎng)絡(luò)有Hopfield、Hamming、BAM等。

反饋網(wǎng)絡(luò)，網(wǎng)絡(luò)內(nèi)神經(jīng)元間有反饋，可以用一個(gè)無向的完備圖表示。這種神經(jīng)網(wǎng)絡(luò)的信息處理是狀態(tài)的變換，可以用動(dòng)力學(xué)系統(tǒng)理論處理。系統(tǒng)的穩(wěn)定性與聯(lián)想記憶功能有密切關(guān)系。Hopfield網(wǎng)絡(luò)、波耳茲曼機(jī)均屬于這種類型。

2、人工神經(jīng)網(wǎng)絡(luò)發(fā)展

2.1 感知機(jī)

神經(jīng)網(wǎng)絡(luò)技術(shù)起源于上世紀(jì)五、六十年代，當(dāng)時(shí)叫感知機(jī)（perceptron），擁有輸入層、輸出層和一個(gè)隱含層。輸入的特征向量通過隱含層變換達(dá)到輸出層，在輸出層得到分類結(jié)果。早期感知機(jī)的推動(dòng)者是Rosenblatt。但是，Rosenblatt的單層感知機(jī)有一個(gè)嚴(yán)重得不能再嚴(yán)重的問題，對(duì)于計(jì)算稍微復(fù)雜的函數(shù)其計(jì)算力顯得無能為力。

2.2 多層感知機(jī)的出現(xiàn)

隨著數(shù)學(xué)的發(fā)展，這個(gè)缺點(diǎn)直到上世紀(jì)八十年代才被Rumelhart、Williams、Hinton、LeCun等人發(fā)明的多層感知機(jī)（multilayer perceptron)克服。多層感知機(jī)，顧名思義，就是有多個(gè)隱含層的感知機(jī)。

多層感知機(jī)可以擺脫早期離散傳輸函數(shù)的束縛，使用sigmoid或tanh等連續(xù)函數(shù)模擬神經(jīng)元對(duì)激勵(lì)的響應(yīng)，在訓(xùn)練算法上則使用Werbos發(fā)明的反向傳播BP算法。對(duì)，這就是我們現(xiàn)在所說的神經(jīng)網(wǎng)絡(luò)( NN)！多層感知機(jī)解決了之前無法模擬異或邏輯的缺陷，同時(shí)更多的層數(shù)也讓網(wǎng)絡(luò)更能夠刻畫現(xiàn)實(shí)世界中的復(fù)雜情形。多層感知機(jī)給我們帶來的啟示是，神經(jīng)網(wǎng)絡(luò)的層數(shù)直接決定了它對(duì)現(xiàn)實(shí)的刻畫能力——利用每層更少的神經(jīng)元擬合更加復(fù)雜的函數(shù)。

即便大牛們?cè)缇皖A(yù)料到神經(jīng)網(wǎng)絡(luò)需要變得更深，但是有一個(gè)夢(mèng)魘總是縈繞左右。隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的加深，優(yōu)化函數(shù)越來越容易陷入局部最優(yōu)解，并且這個(gè)“陷阱”越來越偏離真正的全局最優(yōu)。利用有限數(shù)據(jù)訓(xùn)練的深層網(wǎng)絡(luò)，性能還不如較淺層網(wǎng)絡(luò)。同時(shí)，另一個(gè)不可忽略的問題是隨著網(wǎng)絡(luò)層數(shù)增加，“梯度消失”現(xiàn)象更加嚴(yán)重。具體來說，我們常常使用 sigmoid 作為神經(jīng)元的輸入輸出函數(shù)。對(duì)于幅度為1的信號(hào)，在BP反向傳播梯度時(shí)，每傳遞一層，梯度衰減為原來的0.25。層數(shù)一多，梯度指數(shù)衰減后低層基本上接受不到有效的訓(xùn)練信號(hào)。

2.3 （DNN）神經(jīng)網(wǎng)絡(luò)“具有深度”

2006年，Hinton利用預(yù)訓(xùn)練方法緩解了局部最優(yōu)解問題，將隱含層推動(dòng)到了7層(參考論文：Hinton G E, Salakhutdinov R R. Reducing the Dimensionality of Data with Neural Networks[J]. Science, 2006, 313(5786):504-507.)，神經(jīng)網(wǎng)絡(luò)真正意義上有了“深度”，由此揭開了深度學(xué)習(xí)的熱潮。這里的“深度”并沒有固定的定義——在語音識(shí)別中4層網(wǎng)絡(luò)就能夠被認(rèn)為是“較深的”，而在圖像識(shí)別中20層以上的網(wǎng)絡(luò)屢見不鮮。為了克服梯度消失，ReLU、maxout等傳輸函數(shù)代替了 sigmoid，形成了如今 DNN 的基本形式。單從結(jié)構(gòu)上來說，全連接的DNN和上圖的多層感知機(jī)是沒有任何區(qū)別的。值得一提的是，今年出現(xiàn)的高速公路網(wǎng)絡(luò)（highway network）和深度殘差學(xué)習(xí)（deep residual learning）進(jìn)一步避免了梯度彌散問題，網(wǎng)絡(luò)層數(shù)達(dá)到了前所未有的一百多層（深度殘差學(xué)習(xí)：152層，具體去看何愷明大神的paper）！

2.4 CNN（卷積神經(jīng)網(wǎng)絡(luò)）的出現(xiàn)

我們看到全連接DNN的結(jié)構(gòu)里下層神經(jīng)元和所有上層神經(jīng)元都能夠形成連接，帶來的潛在問題是參數(shù)數(shù)量的膨脹。假設(shè)輸入的是一幅像素為1K*1K的圖像，隱含層有1M個(gè)節(jié)點(diǎn)，光這一層就有10^12個(gè)權(quán)重需要訓(xùn)練，這不僅容易過擬合，而且極容易陷入局部最優(yōu)。另外，圖像中有固有的局部模式（比如輪廓、邊界，人的眼睛、鼻子、嘴等）可以利用，顯然應(yīng)該將圖像處理中的概念和神經(jīng)網(wǎng)絡(luò)技術(shù)相結(jié)合。此時(shí)我們可以祭出題主所說的卷積神經(jīng)網(wǎng)絡(luò)CNN。對(duì)于CNN來說，并不是所有上下層神經(jīng)元都能直接相連，而是通過“卷積核”作為中介。同一個(gè)卷積核在所有圖像內(nèi)是共享的，圖像通過卷積操作后仍然保留原先的位置關(guān)系。

通過一個(gè)例子簡(jiǎn)單說明卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。假設(shè)我們需要識(shí)別一幅彩色圖像，這幅圖像具有四個(gè)通道 ARGB （透明度和紅綠藍(lán)，對(duì)應(yīng)了四幅相同大小的圖像），假設(shè)卷積核大小為 3?3 共使用100個(gè)卷積核w1到w100（從直覺來看，每個(gè)卷積核應(yīng)該學(xué)習(xí)到不同的結(jié)構(gòu)特征）。用w1在ARGB圖像上進(jìn)行卷積操作，可以得到隱含層的第一幅圖像；這幅隱含層圖像左上角第一個(gè)像素是四幅輸入圖像左上角 3?3 區(qū)域內(nèi)像素的加權(quán)求和，以此類推。同理，算上其他卷積核，隱含層對(duì)應(yīng)100幅“圖像”。每幅圖像對(duì)是對(duì)原始圖像中不同特征的響應(yīng)。按照這樣的結(jié)構(gòu)繼續(xù)傳遞下去。CNN中還有 max-pooling 等操作進(jìn)一步提高魯棒性。

我們注意到，對(duì)于圖像，如果沒有卷積操作，學(xué)習(xí)的參數(shù)量是災(zāi)難級(jí)的。CNN之所以用于圖像識(shí)別，正是由于CNN模型限制了參數(shù)的個(gè)數(shù)并挖掘了局部結(jié)構(gòu)的這個(gè)特點(diǎn)。順著同樣的思路，利用語音語譜結(jié)構(gòu)中的局部信息，CNN照樣能應(yīng)用在語音識(shí)別中。在普通的全連接網(wǎng)絡(luò)或CNN中，每層神經(jīng)元的信號(hào)只能向上一層傳播，樣本的處理在各個(gè)時(shí)刻獨(dú)立，因此又被成為前向神經(jīng)網(wǎng)絡(luò)(Feed-forward Neural Networks)。

2.5 RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）的出現(xiàn)

全連接的DNN還存在著另一個(gè)問題——無法對(duì)時(shí)間序列上的變化進(jìn)行建模。然而，樣本出現(xiàn)的時(shí)間順序?qū)τ?span id="ozvdkddzhkzd" class="replace_word" style="color:rgb(223,52,52)">自然語言處理、語音識(shí)別、手寫體識(shí)別等應(yīng)用非常重要。對(duì)了適應(yīng)這種需求，就出現(xiàn)了另一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)——循環(huán)神經(jīng)網(wǎng)絡(luò)RNN。而在RNN中，神經(jīng)元的輸出可以在下一個(gè)時(shí)間戳直接作用到自身，即第i層神經(jīng)元在m時(shí)刻的輸入，除了（i?1）層神經(jīng)元在該時(shí)刻的輸出外，還包括其自身在（m?1）時(shí)刻的輸出。

RNN可以看成一個(gè)在時(shí)間上傳遞的神經(jīng)網(wǎng)絡(luò)，它的深度是時(shí)間的長(zhǎng)度！正如我們上面所說，“梯度消失”現(xiàn)象又要出現(xiàn)了，只不過這次發(fā)生在時(shí)間軸上。對(duì)于t時(shí)刻來說，它產(chǎn)生的梯度在時(shí)間軸上向歷史傳播幾層之后就消失了，根本就無法影響太遙遠(yuǎn)的過去。因此，之前說“所有歷史”共同作用只是理想的情況，在實(shí)際中，這種影響也就只能維持若干個(gè)時(shí)間戳。為了解決時(shí)間上的梯度消失，機(jī)器學(xué)習(xí)領(lǐng)域發(fā)展出了長(zhǎng)短時(shí)記憶單元 LSTM，通過門的開關(guān)實(shí)現(xiàn)時(shí)間上記憶功能，并防止梯度消失

3 結(jié)束語

事實(shí)上，不論是那種網(wǎng)絡(luò)，他們?cè)趯?shí)際應(yīng)用中常常都混合著使用，比如CNN和RNN在上層輸出之前往往會(huì)接上全連接層，很難說某個(gè)網(wǎng)絡(luò)到底屬于哪個(gè)類別。不難想象隨著深度學(xué)習(xí)熱度的延續(xù)，更靈活的組合方式、更多的網(wǎng)絡(luò)結(jié)構(gòu)將被發(fā)展出來。盡管看起來千變?nèi)f化，但研究者們的出發(fā)點(diǎn)肯定都是為了解決特定的問題。對(duì)于想進(jìn)行這方面的研究的朋友，不妨仔細(xì)分析一下這些結(jié)構(gòu)各自的特點(diǎn)以及它們達(dá)成目標(biāo)的手段。

總結(jié)

以上是生活随笔為你收集整理的人工神经网络模型与分类的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。