本文主要講了什么是擠壓型函數以及擠壓型函數的作用，以及logistic函數

?

目錄

第一步：這一類函數的特點

第二步：logistic函數

Logistic函數的優缺點

---

第一步：這一類函數的特點

---

當輸入值域的絕對值較大的時候，其輸出在兩端是飽和的，都具有S形的函數曲線以及壓縮輸入值域的作用，所以叫擠壓型激活函數，又可以叫飽和型激活函數。

通常用Sigmoid 來表示，原意是S型的曲線，在數學中是指一類具有壓縮作用的S型的函數，在神經網絡中，有兩個常用的 Sigmoid 函數，一個是 Logistic 函數，另一個是Tanh 函數。

本系列中的約定

Sigmoid ：指????????對數幾率函數????????用于激活函數時的稱呼；

Logistic ：指????????對數幾率函數????????用于二分類函數時的稱呼；

Tanh ：指????????雙曲正切函數????????用于激活函數時的稱呼。

在二分類任務中最后一層使用的對率函數與在神經網絡層與層之間連接的Sigmoid激活函數，是同樣的形式。所以它既是激活函數，又是分類函數，是個特例。

第二步：logistic函數

---

?

定義域和值域:

輸入定義域：(-∞,∞)；

函數輸出域：(0,1)；

導函數輸出域：（0，0.25）

Logistic函數的優缺點

---

優點

從函數圖像來看， Sigmoid 函數的作用是將輸入壓縮到 (0, 1) 這個區間范圍內，這種輸出在(0, 1) 間的函數可以用來模擬一些概率分布的情況，還是一個連續函數，導數簡單易求。

從數學上來看， Sigmoid 函數對中央區的信號增益較大，對兩側區的信號增益小，在信號的特征空間映射上，有很好的效果。

從神經科學上來看，中央區酷似神經元的興奮態，兩側區酷似神經元的抑制態，因而在神經網絡學習方面，可以將重點特征推向中央區， 將非重點特征推向兩側區。

缺點

指數計算代價大。

反向傳播時梯度消失。

總結

以上是生活随笔為你收集整理的logistic挤压型激活函数（机器学习）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。