多層感知機

• • 隱藏層
  • 激活函數
  • • ReLU函數
    • sigmoid函數
    • tanh函數
  • 多層感知機
  • 小結

我們已經介紹了包括線性回歸和softmax回歸在內的單層神經網絡。然而深度學習主要關注多層模型。在本節中，我們將以多層感知機（multilayer perceptron，MLP）為例，介紹多層神經網絡的概念。

隱藏層

多層感知機在單層神經網絡的基礎上引入了一到多個隱藏層（hidden layer）。隱藏層位于輸入層和輸出層之間。下圖展示了一個多層感知機的神經網絡圖，它含有一個隱藏層，該層中有5個隱藏單元。

帶有隱藏層的多層感知機

在上圖所示的多層感知機中，輸入和輸出個數分別為4和3，中間的隱藏層中包含了5個隱藏單元（hidden unit）。由于輸入層不涉及計算，圖中的多層感知機的層數為2。由上圖可見，隱藏層中的神經元和輸入層中各個輸入完全連接，輸出層中的神經元和隱藏層中的各個神經元也完全連接。因此，多層感知機中的隱藏層和輸出層都是全連接層。

具體來說，給定一個小批量樣本$\mathbf{X}\in {\mathbb{R}}^{n\times d}$，其批量大小為$n$，輸入個數為$d$。假設多層感知機只有一個隱藏層，其中隱藏單元個數為$h$。記隱藏層的輸出（也稱為隱藏層變量或隱藏變量）為$\mathbf{H}$，有$\mathbf{H}\in {\mathbb{R}}^{n\times h}$。因為隱藏層和輸出層均是全連接層，可以設隱藏層的權重參數和偏差參數分別為${\mathbf{W}}_h\in {\mathbb{R}}^{d\times h}$和 ${\mathbf{b}}_h\in {\mathbb{R}}^{1\times h}$，輸出層的權重和偏差參數分別為${\mathbf{W}}_o\in {\mathbb{R}}^{h\times q}$和${\mathbf{b}}_o\in {\mathbb{R}}^{1\times q}$。

我們先來看一種含單隱藏層的多層感知機的設計。其輸出$\mathbf{O}\in {\mathbb{R}}^{n\times q}$的計算為

$$\begin{array}{rl}\mathbf{H}& =\mathbf{X}{\mathbf{W}}_h+{\mathbf{b}}_h,\\ \mathbf{O}& =\mathbf{H}{\mathbf{W}}_o+{\mathbf{b}}_o,\end{array}$$

也就是將隱藏層的輸出直接作為輸出層的輸入。如果將以上兩個式子聯立起來，可以得到

$$\mathbf{O}=(\mathbf{X}{\mathbf{W}}_h+{\mathbf{b}}_h){\mathbf{W}}_o+{\mathbf{b}}_o=\mathbf{X}{\mathbf{W}}_h{\mathbf{W}}_o+{\mathbf{b}}_h{\mathbf{W}}_o+{\mathbf{b}}_o.$$

從聯立后的式子可以看出，雖然神經網絡引入了隱藏層，卻依然等價于一個單層神經網絡：其中輸出層權重參數為${\mathbf{W}}_h{\mathbf{W}}_o$，偏差參數為${\mathbf{b}}_h{\mathbf{W}}_o+{\mathbf{b}}_o$。不難發現，即便再添加更多的隱藏層，以上設計依然只能與僅含輸出層的單層神經網絡等價。

另外，可以得出結論：

• 計算神經網絡的層數時候不算輸入層。
• 某一層的權重是指 前一層 到 該層 線性變換所需的權重參數。如輸出層的權重為 隱藏層 到 輸入層 的權重。
• 權重W的形狀為 前一層神經元的個數 * 當前層的神經元的個數

激活函數

上述問題的根源在于全連接層只是對數據做仿射變換（affine transformation），而多個仿射變換的疊加仍然是一個仿射變換。解決問題的一個方法是引入非線性變換，例如對隱藏變量使用按元素運算的非線性函數進行變換，然后再作為下一個全連接層的輸入。這個非線性函數被稱為激活函數（activation function）。
下面對比使用激活函數和不使用激活函數的神經網絡模型表達能力:

不使用激活函數

使用激活函數

結論:使用了激活函數的多層感知機可以表示任意函數。不加激活函數則無法表示非線性空間。

下面我們介紹幾個常用的激活函數。

ReLU函數

ReLU（rectified linear unit）函數提供了一個很簡單的非線性變換。給定元素$x$，該函數定義為

$$\text{ReLU}(x)=\max (x,0).$$

可以看出，ReLU函數只保留正數元素，并將負數元素清零。為了直觀地觀察這一非線性變換，我們先定義一個繪圖函數xyplot。

import torch import numpy as np import matplotlib.pylab as plt import sysdef xyplot(x_vals, y_vals, name):d2l.set_figsize(figsize=(5, 2.5))d2l.plt.plot(x_vals.detach().numpy(), y_vals.detach().numpy())d2l.plt.xlabel('x')d2l.plt.ylabel(name + '(x)')

我們接下來通過Tensor提供的relu函數來繪制ReLU函數。可以看到，該激活函數是一個兩段線性函數。

x = torch.arange(-8.0, 8.0, 0.1, requires_grad=True) y = x.relu() xyplot(x, y, 'relu')

顯然，當輸入為負數時，ReLU函數的導數為0；當輸入為正數時，ReLU函數的導數為1。盡管輸入為0時ReLU函數不可導，但是我們可以取此處的導數為0。下面繪制ReLU函數的導數。

y.sum().backward() xyplot(x, x.grad, 'grad of relu')

sigmoid函數

sigmoid函數可以將元素的值變換到0和1之間：

$$\text{sigmoid}(x)=\frac{1}{1+\exp (?x)}.$$

sigmoid函數在早期的神經網絡中較為普遍，但它目前逐漸被更簡單的ReLU函數取代。在后面“循環神經網絡”一章中我們會介紹如何利用它值域在0到1之間這一特性來控制信息在神經網絡中的流動。下面繪制了sigmoid函數。當輸入接近0時，sigmoid函數接近線性變換。

y = x.sigmoid() xyplot(x, y, 'sigmoid')

依據鏈式法則，sigmoid函數的導數

$${\text{sigmoid}}^{\prime }(x)=\text{sigmoid}(x)\left(1?\text{sigmoid}(x)\right).$$

下面繪制了sigmoid函數的導數。當輸入為0時，sigmoid函數的導數達到最大值0.25；當輸入越偏離0時，sigmoid函數的導數越接近0。

x.grad.zero_() y.sum().backward() xyplot(x, x.grad, 'grad of sigmoid')

tanh函數

tanh（雙曲正切）函數可以將元素的值變換到-1和1之間：

$$\text{tanh}(x)=\frac{1?\exp (?2x)}{1+\exp (?2x)}.$$

我們接著繪制tanh函數。當輸入接近0時，tanh函數接近線性變換。雖然該函數的形狀和sigmoid函數的形狀很像，但tanh函數在坐標系的原點上對稱。

y = x.tanh() xyplot(x, y, 'tanh')

依據鏈式法則，tanh函數的導數

$${\text{tanh}}^{\prime }(x)=1?{\text{tanh}}^2(x).$$

下面繪制了tanh函數的導數。當輸入為0時，tanh函數的導數達到最大值1；當輸入越偏離0時，tanh函數的導數越接近0。

x.grad.zero_() y.sum().backward() xyplot(x, x.grad, 'grad of tanh')

多層感知機

多層感知機就是含有至少一個隱藏層的由全連接層組成的神經網絡，且每個隱藏層的輸出通過激活函數進行變換。多層感知機的層數和各隱藏層中隱藏單元個數都是超參數。以單隱藏層為例并沿用本節之前定義的符號，多層感知機按以下方式計算輸出：

$$\begin{array}{rl}\mathbf{H}& =?(\mathbf{X}{\mathbf{W}}_h+{\mathbf{b}}_h),\\ \mathbf{O}& =\mathbf{H}{\mathbf{W}}_o+{\mathbf{b}}_o,\end{array}$$

其中$?$表示激活函數。在分類問題中，我們可以對輸出$\mathbf{O}$做softmax運算，并使用softmax回歸中的交叉熵損失函數。
在回歸問題中，我們將輸出層的輸出個數設為1，并將輸出$\mathbf{O}$直接提供給線性回歸中使用的平方損失函數。

小結

• 多層感知機在輸出層與輸入層之間加入了一個或多個全連接隱藏層，并通過激活函數對隱藏層輸出進行變換。
• 常用的激活函數包括ReLU函數、sigmoid函數和tanh函數。

---

總結

以上是生活随笔為你收集整理的深度学习pytorch--多层感知机(一)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。