關于損失函數的一些個人理解

1、損失函數的定義：量化不同的錯誤到底有多壞

2、SVM損失函數

真實分類的得分要比其他分類的得分高出足夠的安全邊距，那么損失為0，也就是有足夠的能力進行分類了，并且大于足夠的閾值后，即能夠正確分類了，算法就不管了不再繼續了。

一開始用一些很小的隨機值來初始化并在第一次迭代時損失函數等于C-1

（1）hinge損失（合頁損失）是SVM損失函數的一種，對微小的錯誤并不在意，但出現很多錯誤就擴大錯誤，以糾正的更加正確。

（2）平方hinge損失函數，將錯誤的分類變得更加大，一點都不想要錯誤的分類。

3、softmax?loss或交叉熵損失

一般用于softmax分類器或者多項式邏輯斯蒂回歸

經過softmax后能夠得到一個概率分布，softmax的輸出向量S是一個概率分布（映射到（0，1）區間）

因為找到log（單調函數）的最大值相對簡單，所以用log函數，加負號是因為loss函數是衡量壞的程度而不是好的程度。

并且softmax?loss會將正確的分值推向無窮大，錯誤的推向無窮小，總是不斷嘗試提高正確的分值，降低錯誤的分值，使每一個數據點都越來越好，同時也增強了分類器的魯棒性。

softmax?loss公式如下：

Sj是softmax輸出向量S的第j個值，表示這個樣本屬于第j個類的概率。

cross?entropy?loss的公式如下：

當cross?entropy的輸入P是softmax函數的輸出時，cross?entropy損失=softmax?loss

也就是說：softmax函數的輸出作為輸入——>cross entropy loss =softmax loss.

并且在二分類中，用sigmoid將輸入映射到（0，1）區間；而在多分類中用softmax將輸入映射到（0，1）區間

總結

以上是生活随笔為你收集整理的关于损失函数的一些个人理解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。