目錄

一、神經(jīng)網(wǎng)絡(luò)架構(gòu)

1、結(jié)構(gòu)與意義

2、過(guò)程

1、輸入數(shù)據(jù)，得到輸入層

2、得到隱藏層1

3、得到隱藏層2

4、得到輸出層

二、激活函數(shù)

激活函數(shù)概念

激活函數(shù)的選擇

1、階躍函數(shù)

2、Sigmoid函數(shù)

3、ReLU函數(shù)

三、過(guò)擬合處理

---

一、神經(jīng)網(wǎng)絡(luò)架構(gòu)

1、結(jié)構(gòu)與意義

?神經(jīng)網(wǎng)絡(luò)一層一層地處理。

輸入層（input layer）有多少個(gè)圈，代表輸入數(shù)據(jù)多少。

隱層沒(méi)有特定的含義，它只是一個(gè)數(shù)值，便于計(jì)算機(jī)更好地認(rèn)識(shí)，隱層和每個(gè)輸入層全連接。

2、過(guò)程

1、輸入數(shù)據(jù)，得到輸入層

2、得到隱藏層1

先輸入數(shù)據(jù)，通過(guò)輸入層[1*3]，經(jīng)過(guò)權(quán)重參數(shù)矩陣w1[3*4]（3個(gè)參數(shù)變4個(gè)），把輸入層的數(shù)據(jù)轉(zhuǎn)轉(zhuǎn)換一下。

3、得到隱藏層2

再經(jīng)過(guò)w2[4*4]，把隱藏層1的結(jié)果再進(jìn)行一次轉(zhuǎn)換，得到w3

4、得到輸出層

再經(jīng)過(guò)w3[4,1]，把隱藏層2的結(jié)果再進(jìn)行一次轉(zhuǎn)換，得到最終的輸出層（output layer）

?

?注：該過(guò)程為非線性計(jì)算，每一步需要單獨(dú)進(jìn)行操作，不能一步到位。（如果w4=w1*w2*w3，不能用w4直接代替w1、w2、w3的過(guò)程，需要一步一步組合：即分別把輸入和w1組合，再把結(jié)果和w2組合、再把結(jié)果和w3組合，得到結(jié)果）

二、激活函數(shù)

激活函數(shù)概念

首先，前向傳播和反向傳播都需要激活函數(shù)。?

??作用：在于決定如何激活輸入信號(hào)的總和。

激活函數(shù)的選擇

必須是非線性函數(shù)。

反例：（線性函數(shù)）

線性變換的話， 本質(zhì)上沒(méi)太大變化，還是一元一次函數(shù)。

1、階躍函數(shù)

2、Sigmoid函數(shù)

梯度消失：

當(dāng)x<-10或x>10時(shí)，其導(dǎo)數(shù)很小，當(dāng)層數(shù)很多的時(shí)候，容易產(chǎn)生梯度消失現(xiàn)象。

3、ReLU函數(shù)

該函數(shù)是當(dāng)前最常用的激活函數(shù)，既能解決梯度消失的情況，求導(dǎo)又比較簡(jiǎn)單。

三、過(guò)擬合處理

有時(shí)候會(huì)出現(xiàn)過(guò)擬合現(xiàn)象，是我們不希望看到的情況。

比如=0.001就是過(guò)擬合的情況：

在那個(gè)紅圈的范圍內(nèi)，是綠色的可能性會(huì)更大。

?要看的不是訓(xùn)練集，而是測(cè)試集的效果，我們希望它泛化能力越強(qiáng)越好。

過(guò)擬合解決方法：

1、正則化。

2、DROP-OUT：訓(xùn)練階段損失一部分的神經(jīng)元，防止過(guò)擬合。

（訓(xùn)練階段每層抽取一部分神經(jīng)元，測(cè)試不用管）

DROP-OUT：

總結(jié)

以上是生活随笔為你收集整理的深度学习（4）基础4 -- 神经网络架构激活函数过拟合处理的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。