在神經(jīng)網(wǎng)絡中，經(jīng)常用到sigmoid函數(shù)，y = 1 / (1+e^-x)

作為下一級神經(jīng)元的激活函數(shù)，x也就是WX（下文，W以θ符號代替）矩陣計算結果。

這個函數(shù)通常用在進行分類，通常分為1或0的邏輯分類，所以又叫l(wèi)ogistic回歸。

常規(guī)常規(guī)情況下，我們使用的損失函數(shù)是 j(θ) = 1 / 2n * ∑(h_θ(x) - y) ，?h_θ(x)??也就是激活函數(shù)(或hypothesis函數(shù))，y是樣本結果數(shù)據(jù)。在大部分情況下，這是通用的。以向量來看，空間點H_θ(x)和Y距離最小化。

但是，由于sigmoid函數(shù)是非線性的，所以用以上損失函數(shù)，求偏導后，得到的?j(θ)只能是局部最小值（左圖），得不到真正的最小值。

?

?

因此，在logistic回歸中，最優(yōu)的損失函數(shù)，應該是：

y是指樣本值。（也即是損失函數(shù)和y的關系，不再是直接減去y(樣本目標值)）

圖像：

當y=0時，如果H_θ(x)越接近0，那么損失越小。也就是說，只要偏導數(shù)為0，反向傳播時依然往最小值方向（而非局部最小值）

如果y=0，但是H_θ(x)不接近0，甚至于大于1，那么損失就非常巨大，那么可以造成反響傳播時，修改原θ值就越大了。

連個曲線合并，就是J = y * log(x) + (1 - y) * log (1 - x)，y的取值只能為0或1

整個損失函數(shù)簡化后，得到：

?（此函數(shù)，又叫交叉熵函數(shù)）

θ其實也即是權，或參數(shù)值。

總的來說，根據(jù)學習的結果類型（是0或1類型，還是數(shù)值類型），選擇合適的激活函數(shù)，同時，也要有對應的損失函數(shù)，才能得到最佳效果。

轉載于:https://www.cnblogs.com/pylblog/p/10808665.html

總結

以上是生活随笔為你收集整理的有关logistic(sigmoid)函数回归的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。