1，logistic函數

其實logistic函數也就是經常說的sigmoid函數，它的幾何形狀也就是一條sigmoid曲線。logistic函數的公式形式如下：

其中，x0表示了函數曲線的中心（sigmoid midpoint），k是曲線的坡度，表示f(x)在x0的導數。對應的幾何形狀：

logistic函數本身在眾多領域中都有很多應用，我們只談統計學和機器學習領域。logistic函數在統計學和機器學習領域應用最為廣泛或者最為人熟知的肯定是logistic回歸模型了。logistic回歸（Logistic Regression，簡稱LR）作為一種對數線性模型（log-linear model）被廣泛地應用于分類和回歸場景中。此外，logistic函數也是神經網絡最為常用的激活函數，即sigmoid函數。
logistic函數常用作二分類場景中，表示輸入已知的情況下，輸出為1的概率：

其中

為分類的決策邊界。另一類的生成概率：

2，softmax函數

softmax函數是logistic函數的一般形式，本質是將一個K維的任意實數向量映射成K維的實數向量，其中向量中的每個元素取值都介于（0,1）之間，且所有元素的和為1。
softmax函數的表達式：

softmax函數經常用在神經網絡的最后一層，作為輸出層，進行多分類。公式如下：

softmax回歸模型存在參數冗余，我們對（2）式中參數向量減去一個向量，輸出為第j類的生成概率如下：

完全不影響假設函數的預測結果，表明softmax回歸模型存在冗余的參數，模型最優化結果存在多個參數解。解決辦法為對softmax回歸模型的損失函數引入正則化項（懲罰項），就可以保證得到唯一的最優解。　softmax函數經常用在神經網絡的最后一層，作為輸出層，進行多分類。此外，softmax在增強學習領域內，softmax經常被用作將某個值轉化為激活概率。

3，logistic函數和softmax函數的關系

（1）最優模型的學習方法
我們常用梯度下降算法來求模型損失函數的最優解，因為softmax回歸是logistic回歸的一般形式，因此最優模型的學習方法相同。
logistic回歸的損失函數的偏導數：

參數更新表達式為：

同理，softmax回歸參數的思想也大致相同，使得模型實際標記的第K類的生成概率接近于1。
（2）二分類情況
logistic回歸針對的是二分類情況，而softmax解決的是多分類問題，若softmax回歸處理的是二分類問題，則表達式如下：

利用softmax回歸的參數冗余特點，化簡上式可得：

上式可表示為：

與logistic二分類的表達式一致，因此，softmax回歸與logistic回歸的二分類算法相同 。
（3）多分類情況
logistic回歸是二分類，通過“1對1（one vs one）“分類器和”1對其他（one vs the rest）“分類器轉化為多分類。但是，這兩種方法會產生無法分類的區域，該區域屬于多個類，如下圖：

logistic多分類的解決辦法：若構建K類的分類器，通過創建K類判定函數來解決無法分類的問題。假定K類判定函數為：

對于輸入樣本x，有：

則樣本屬于第k類。
logistic多分類回歸可通過設置與類數相同的判別函數來避免無法分類的情況。

softmax回歸進行的多分類，輸出的類別是互斥的，不存在無法分類的區域，一個輸入只能被歸為一類。Softmax模型可以用來給不同的對象分配概率。即使在之后，我們訓練更加精細的模型時，最后一步也需要用softmax來分配概率。本質上其實是一種多種類型的線性分割，當類標簽 textstyle y 取 2 時，就相當于是logistic回歸模型。
交叉熵代價函數表達式：

其中，x表示樣本，n表示樣本的總數，a為預測值，y為真實值。
這種代價函數與普通的二次代價函數相比，當預測值與實際值的誤差越大，那么參數調整的幅度就更大，達到更快收斂的效果。證明如下：

其中：

輸出值與實際值之間的誤差為：

所以，當誤差越大，梯度就越大，參數w調整得越快，訓練速度也就越快。同理可得，b的梯度為：

3，Softmax 回歸 vs. k 個二元分類器

如果你在開發一個音樂分類的應用，需要對k種類型的音樂進行識別，那么是選擇使用 softmax 分類器呢，還是使用 logistic 回歸算法建立 k 個獨立的二元分類器呢？

這一選擇取決于你的類別之間是否互斥，例如，如果你有四個類別的音樂，分別為：古典音樂、鄉村音樂、搖滾樂和爵士樂，那么你可以假設每個訓練樣本只會被打上一個標簽（即：一首歌只能屬于這四種音樂類型的其中一種），此時你應該使用類別數 k = 4 的softmax回歸。（如果在你的數據集中，有的歌曲不屬于以上四類的其中任何一類，那么你可以添加一個“其他類”，并將類別數 k 設為5。）

如果你的四個類別如下：人聲音樂、舞曲、影視原聲、流行歌曲，那么這些類別之間并不是互斥的。例如：一首歌曲可以來源于影視原聲，同時也包含人聲 。這種情況下，使用4個二分類的 logistic 回歸分類器更為合適。這樣，對于每個新的音樂作品 ，我們的算法可以分別判斷它是否屬于各個類別。

現在我們來看一個計算視覺領域的例子，你的任務是將圖像分到三個不同類別中。(i) 假設這三個類別分別是：室內場景、戶外城區場景、戶外荒野場景。你會使用sofmax回歸還是 3個logistic 回歸分類器呢？ (ii) 現在假設這三個類別分別是室內場景、黑白圖片、包含人物的圖片，你又會選擇 softmax 回歸還是多個 logistic 回歸分類器呢？

在第一個例子中，三個類別是互斥的，因此更適于選擇softmax回歸分類器 。而在第二個例子中，建立三個獨立的 logistic回歸分類器更加合適。

總結

以上是生活随笔為你收集整理的logisitic和softmax函数的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。