神經元的工作模型存在“激活（1）”和“抑制（0）”兩種狀態的跳變，那么理想的激活函數就應該是如圖 6-7（a）所示的階躍函數。

但事實上，在實際使用中，這類函數具有不光滑、不連續等眾多不“友好”的特性，使用得并不廣泛。為什么說它“不友好”呢，這是因為在訓練網絡權重時，通常依賴對某個權重求偏導、尋極值，而不光滑、不連續等通常意味著該函數無法“連續可導”。

因此，我們通常用 sigmoid()函數來代替階躍函數，如圖 6-7（b）所示。無論輸入值（x）的范圍有多大，這個函數都可以將輸出擠壓在[0,1]范圍之內，故此這個函數又被稱為“擠壓函數（Squashing Function )”。

那么，我們應該怎樣理解激活函數呢？實際上，我們還是能從生活中找到相似的影子的（理論，本來就源自人們對生活的抽象）。

比如，如果你的“野蠻女友”打你耳光，當她打你第一個耳光時，你想了很多，考慮她的長相（權重 wy)、身材（權重 wg）、學歷（權重wg）、性格（權重 we）、你愛她的程度（權重 ws）以及娶媳婦的難度（權重 we）等因素（這些因素，在機器學習領域，就是研究對象的特征，它們組合在一起就構成了對象的特征空間)。

綜合衡量后，你決定忍了，或者說這一切并沒有超出你忍耐的閾值（這期間，你也給自己找了一個優雅的臺階：打是親，罵是愛)。如果把你的忍耐“功能”看作一個函數（回顧一下前面的介紹可以了解，“項能”和“函數”本來就是一個概念——Function)，那么在這種場景下，相當于你的函數輸出為0，目前還處于沒有被激活狀態。

當她打你第二個耳光時，你又想了很多，依然忍了，但上述因素的權重都開始調整了，比如性格權重下降，愛她的程度權重下降等。

……

當她打你第n個耳光時，你終于忍不了了，這時函數輸出超出了閾值，你可能揚長而去，也可能哭著喊“要打，也別老打臉啊”。

參考文獻：《深度學習之美:AI時代的數據處理與最佳實踐》

猜你喜歡：👇🏻
?【隨筆】深度學習之美——楊家有女初長成，養在深閨人未識
?【隨筆】卷積神經網絡中的卷積怎么卷？
?【隨筆】通用近似定理

總結

以上是生活随笔為你收集整理的【随笔】激活函数是怎样一种存在？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。