2.2.1 什么是神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)（ Artificial Neural Network， 簡寫為ANN）也簡稱為神經(jīng)網(wǎng)絡(luò)（NN）。是一種模仿生物神經(jīng)網(wǎng)絡(luò)（動物的中樞神經(jīng)系統(tǒng)，特別是大腦）結(jié)構(gòu)和功能的?計算模型。經(jīng)典的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)包含三個層次的神經(jīng)網(wǎng)絡(luò)。分別輸入層，輸出層以及隱藏層。

其中每層的圓圈代表一個神經(jīng)元，隱藏層和輸出層的神經(jīng)元有輸入的數(shù)據(jù)計算后輸出，輸入層的神經(jīng)元只是輸入。

• 神經(jīng)網(wǎng)絡(luò)的特點

  • 1、每個連接都有個權(quán)值
  • 2、同一層神經(jīng)元之間沒有連接
  • 3、最后的輸出結(jié)果對應(yīng)的層也稱之為全連接層

• 組成：

  • 輸入層：神經(jīng)網(wǎng)絡(luò)的第一層，原始的樣本數(shù)據(jù)
  • 輸出層：神經(jīng)網(wǎng)絡(luò)的最后一層，最終的計算結(jié)果
  • 隱藏層：其余的中間層都被稱為隱藏層（hidden layer）
  • 權(quán)重（weight）：就是之前所說的參數(shù)，這里被稱為一個神經(jīng)節(jié)點的權(quán)重。
  • 激活函數(shù)（activation function）：激活函數(shù)是兩層神經(jīng)元之間的映射函數(shù)，是一種輸出到輸入的轉(zhuǎn)換，一般是非線性的，而且是單調(diào)可微函數(shù)（因為優(yōu)化方法是基于梯度的）。常見的激活函數(shù)有：sigmoid,tanh

那么為什么設(shè)計這樣的結(jié)構(gòu)呢？首先從一個最基礎(chǔ)的結(jié)構(gòu)說起，神經(jīng)元。以前也稱之為感知機。神經(jīng)元就是要模擬人的神經(jīng)元結(jié)構(gòu)。

一個神經(jīng)元通常具有多個樹突，主要用來接受傳入信息；而軸突只有一條，軸突尾端有許多軸突末梢可以給其他多個神經(jīng)元傳遞信息。軸突末梢跟其他神經(jīng)元的樹突產(chǎn)生連接，從而傳遞信號。這個連接的位置在生物學上叫做“突觸”。

要理解神經(jīng)網(wǎng)絡(luò)，先解釋一種叫做感知機（perceptron）的人工神經(jīng)元。感知機由科學家Frank Rosenblatt發(fā)明于1950至1960年代，他受到了來自Warren McCulloch 和Walter Pitts的更早工作的啟發(fā)。

注：我們通常使用其它種類的人工神經(jīng)元模型，主要使用的是一種叫做sigmoid神經(jīng)元（sigmoid neuron）的神經(jīng)元模型。

2.2.1.1 感知機(PLA: Perceptron Learning Algorithm))

感知機就是模擬這樣的大腦神經(jīng)網(wǎng)絡(luò)處理數(shù)據(jù)的過程。感知機模型如下圖：

感知機是一種最基礎(chǔ)的分類模型，前半部分類似于回歸模型。感知機最基礎(chǔ)是這樣的函數(shù)，而邏輯回歸用的sigmoid。這個感知機具有連接的權(quán)重和偏置

2.2.3 神經(jīng)網(wǎng)絡(luò)發(fā)展史

• 1、深度學習其實并不是新的事物，深度學習所需要的神經(jīng)網(wǎng)絡(luò)技術(shù)起源于20世紀50年代，那個時候叫做感知機。當時也通常使用單層感知機，盡管結(jié)構(gòu)簡單，但是能夠解決相當復(fù)雜的問題。
• 2、后來感知機被證明存在嚴重的問題，因為只能學習線性可分函數(shù)，連簡單的異或(XOR)等線性不可分問題都無能為力，1969年Marvin Minsky寫了一本叫做《Perceptrons》的書，他提出了著名的兩個觀點：1.單層感知機沒用，我們需要多層感知機來解決復(fù)雜問題 2.沒有有效的訓(xùn)練算法。
• 3、1974年哈佛大學博士畢業(yè)生Paul J. Werbos首次提出反向傳播算法應(yīng)用在神經(jīng)網(wǎng)絡(luò)的可能，The Roots of Backpropagation: From Ordered Derivatives to Neural Networks and Political Forecasting，但并未得到學術(shù)界的重視。直到1986年BP算法才真正開始流行起來，主要是因為Rumelhart、Hinton、Williams合著的《Learning representations by back-propagating errors》
• 4、 雖然訓(xùn)練算法有了突破，但是還存在很多問題，比如以當時計算機的計算能力，訓(xùn)練一次神經(jīng)網(wǎng)絡(luò)耗時太久，不具備實際使用價值。同時還會存在過擬合以及梯度消失等問題。而90年代中期，由Vapnik等人發(fā)明的支持向量機（Support Vector Machines，SVM）算法誕生，它同樣解決了線性不可分問題，但是對比神經(jīng)網(wǎng)絡(luò)有全方位優(yōu)勢：
  • 1、高效，可以快速訓(xùn)練；
  • 2、無需調(diào)參，沒有梯度消失問題；
  • 3、高效泛化，全局最優(yōu)解，不存在過擬合問題，幾乎全方位的碾壓神經(jīng)網(wǎng)絡(luò)。
• 5、幾乎在這10幾年的時間，只有Hinton等幾位學者在研究神經(jīng)網(wǎng)絡(luò)。直到2006年，提出了"深度置信網(wǎng)絡(luò)"概念，有一個預(yù)訓(xùn)練的過程。使用微調(diào)技術(shù)作為反向傳播和調(diào)優(yōu)手段。減少了網(wǎng)絡(luò)訓(xùn)練時間，并且提出了一個新的概念叫做"深度學習"
• 6、直到2012年，在ImageNet競賽中，Hinton教授的團隊，使用以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的深度學習方案，他們訓(xùn)練的模型面對15萬張測試圖像時，預(yù)測的頭五個類別的錯誤率只有 15.3%，而排名第二的日本團隊，使用的SVM方法構(gòu)建的模型，相應(yīng)的錯誤率則高達 26.2%。從此一戰(zhàn)成名！2012年后深度學習就成為主流。

2.2.4 總結(jié)

• 神經(jīng)網(wǎng)絡(luò)的定義
• 感知機與神經(jīng)網(wǎng)絡(luò)的聯(lián)系
• 神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史

總結(jié)

以上是生活随笔為你收集整理的图像分类_02神经网络(NN)简介：定义+ 感知机+历史的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。