其實我是在：

＜Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift＞看到這兩個詞語的

轉載內容如下：

?

在論文《 ImageNet Classification with Deep Convolutional Neural Networks》中描述激活函數時，用了飽和非線性函數和非飽和非線性函數的區別。這里在這里描述其差別。

直觀理解
飽和激活函數會壓縮輸入值。

定義

舉例
對于Rectified Linear Unit (ReLU)激活函數f(x) = max(0, x)，當x趨于正無窮則f(x)也趨于正無窮。所以該函數是非飽和的。

sigmoid函數的范圍是[0, 1]所以是飽和的。

tanh函數也是飽和的，因為其取值范圍為[-1,1]。

本文是下面鏈接的翻譯：英文原文

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的饱和非线性（saturating nonlinearities）和非饱和非线性（non-saturating nonlinearities）的区别(转载)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。