全連接神經網絡分類器（上）

• 圖像表示
• 1. 多層感知器
• 2. 激活函數
• • 小結
• 3. SOFTMAX與交叉熵
• 4. 對比交叉熵損失與支撐向量機損失
• 5. 計算圖與反向傳播

圖像表示

直接使用原始像素作為特征，展開為列向量
一般分類器均使用此類表示

1. 多層感知器

線性分類器

全連接神經網絡：全連接神經網絡級聯多個變化來實現輸入到輸出的映射。

全連接神經網絡的權值

全連接神經網絡與線性不可分：
線性可分：

線性不可分：

全連接神經網絡繪制與命名

N層全連接神經網絡–除輸入層之外的其他層的數量為N的網絡。
N個隱層的全連接神經網絡—網絡隱層的數量為N的網絡。

2. 激活函數

為什么需要非線性操作？
如果網絡中缺少了激活函數，全連接神經網絡將變成一個線性分類器。

常用的激活函數：

網絡結構設計

用不用隱層，用一個還是多個隱層？（深度設計）

每一個而隱層設計幾個神經元比較合適？（寬度設計）
沒有統一答案。

神經元個數越多，分界面就越復雜，在這個集合上的分類能力就越強。

跟據分類任務的難易程度來調整神經網絡模型的復雜程度。分類任務越難，我們設計的神經網絡結構就應該越深，越寬。但是，需要注意的是對訓練集的分類精度最高的全連接神經網絡連接模型。在真實場景下識別性能未必是最好的。（過擬合）

小結

• 全連接神經網絡組成：一個輸入層，一個輸出層及多個隱層。
• 輸入層與輸出層的神經元個數由任務決定，而隱層數量及每個隱層中神經元的數量則需要人為指定。
• 激活函數是全連接神經網絡中的一個重要部分，缺少了激活函數，全連接神經網絡將退化為線性分類器。

3. SOFTMAX與交叉熵

相對熵也叫KL散度；用來度量兩個分布之間的不相似性。

交叉熵特殊形式

交叉熵損失，

4. 對比交叉熵損失與支撐向量機損失

相同分數下兩類分類器的損失有什么區別？
21777777

5. 計算圖與反向傳播

什么是計算圖？
計算圖是一種有向圖，他用來表達輸入，輸出以及中間變量之間的計算關系，圖中的每個節點對應著一種數學運算。

計算圖總結：

任意復雜的函數，都可以用計算圖的形式表示

在整個計算圖中，每個門單元都會得到一些輸入，然后進行下面兩個計算：
a. 這個門的輸出值
b. 其輸出值關于輸入值的局部梯度。

利用鏈式法則，門單元應該將回傳的梯度乘以它對其的輸入的局部梯度，從而得到整個網絡的輸出對該門單元的每個輸入值的梯度。

計算圖的顆粒度：將幾個單元操作合并為一個計算模塊。

計算圖中常見的門單元：

總結

以上是生活随笔為你收集整理的全连接神经网络分类器（上）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。