原文：https://blog.csdn.net/weixin_41923961/article/details/80382409#commentsedit

損失函數

損失函數（Loss function）是用來估量你模型的預測值$f(x)$與真實值 $y$ 的不一致程度，它是一個非負實值函數，通常用 $L(y,f(x))$來表示。損失函數越小，模型的魯棒性就越好。損失函數是經驗風險函數的核心部分，也是結構風險函數的重要組成部分。模型的風險結構包括了風險項和正則項，通常如下所示：

$${\theta }^{?}=argmin\sum _{i=1}^{N}L(y_i,f(x_i;\theta ))+\lambda \Phi (\theta )$$

其中，前面的均值函數表示的是經驗風險函數，$L$代表的是損失函數，后面的 $\Phi$ 是正則化項（regularizer）或者叫懲罰項（penalty term），它可以是$L_1$，也可以是$L_2$，或者其他的正則函數。整個式子表示的意思是找到使目標函數最小時的$\theta$值。

常用損失函數

常見的損失誤差有五種：

鉸鏈損失（Hinge Loss）：主要用于支持向量機（SVM） 中；

互熵損失 （Cross Entropy Loss，Softmax Loss ）：用于Logistic 回歸與Softmax 分類中；

平方損失（Square Loss）：主要是最小二乘法（OLS）中；

指數損失（Exponential Loss） ：主要用于Adaboost 集成學習算法中；

其他損失（如0-1損失，絕對值損失）

1.Hinge loss

Hinge的叫法來源于其損失函數的圖形，為一個折線，通用函數方式為:
$$L(m_i)=max(0,1?m_i(w))$$

Hinge可以解 間距最大化 問題，帶有代表性的就是svm,最初的svm優化函數如下:
$$\begin{gathered} \underset{w,\zeta }{\mathrm{argmin}}\frac{1}{2}||w|{|}^2+C\sum _i{\zeta }_i \\ st.?y_i{w}^T{x}_i\ge 1?{\zeta }_i \\ {\zeta }_i\ge 0 \end{gathered}$$

將約束項進行變形則為:
$${\zeta }_i\ge 1?y_i{w}^T{x}_i$$
則可以將損失函數進一步寫為:
$$J(w)=\frac{1}{2}||w|{|}^2+C\sum _{i}max(0,1?y_i{w}^T{x}_i)$$
$$=\frac{1}{2}||w|{|}^2+C\sum _{i}max(0,1?m_i(w))$$
$$=\frac{1}{2}||w|{|}^2+C\sum _i{L}_{Linge}(m_i)$$

因此svm的損失函數可以看成L2-Norm和Hinge損失誤差之和.

2.Softmax Loss

有些人可能覺得邏輯回歸的損失函數就是平方損失，其實并不是。平方損失函數可以通過線性回歸在假設樣本是高斯分布的條件下推導得到，而邏輯回歸得到的并不是平方損失。在邏輯回歸的推導中，它假設樣本服從伯努利分布（0-1分布），然后求得滿足該分布的似然函數，接著取對數求極值等等。而邏輯回歸并沒有求似然函數的極值，而是把極大化當做是一種思想，進而推導出它的經驗風險函數為：最小化負的似然函數（即$maxF(y,f(x))\to min?F(y,f(x)))$。從損失函數的視角來看，它就成了Softmax 損失函數了。

$log$損失函數的標準形式：

$$L(Y,P(Y|X))=?logP(Y|X)$$

剛剛說到，取對數是為了方便計算極大似然估計，因為在MLE中，直接求導比較困難，所以通常都是先取對數再求導找極值點。損失函數$L(Y,P(Y|X))$表達的是樣本X在分類Y的情況下，使概率$P(Y|X)$達到最大值（換言之，就是利用已知的樣本分布，找到最有可能（即最大概率）導致這種分布的參數值；或者說什么樣的參數才能使我們觀測到目前這組數據的概率最大）。因為$log$函數是單調遞增的，所以$logP(Y|X)$也會達到最大值，因此在前面加上負號之后，最大化$P(Y|X)$就等價于最小化LL 了。
邏輯回歸的$P(Y=y|x)$表達式如下（為了將類別標簽$y統一為1和0$，下面將表達式分開表示）：

將它帶入到上式，通過推導可以得到$logistic$的損失函數表達式，如下：

邏輯回歸最后得到的目標式子如下：

上面是針對二分類而言的。這里需要解釋一下：之所以有人認為邏輯回歸是平方損失，是因為在使用梯度下降來求最優解的時候，它的迭代式子與平方損失求導后的式子非常相似，從而給人一種直觀上的錯覺。

3 Squared Loss

最小二乘法是線性回歸的一種，OLS將問題轉化成了一個凸優化問題。在線性回歸中，它假設樣本和噪聲都服從高斯分布（中心極限定理），最后通過極大似然估計（MLE）可以推導出最小二乘式子。最小二乘的基本原則是：最優擬合直線應該是使各點到回歸直線的距離和最小的直線，即平方和最小。

平方損失（Square loss）的標準形式如下：

$$L(Y,f(X))=(Y?f(X){)}^2$$

當樣本個數為n時，此時的損失函數為：

$$L(Y,f(X))=\sum _{i=1}^n(Y?f(X){)}^2$$
$Y?f(X)?$表示殘差，整個式子表示的是殘差平方和 ，我們的目標就是最小化這個目標函數值，即最小化殘差的平方和。
在實際應用中，我們使用均方差（MSE）作為一項衡量指標，公式如下：

$$MSE=\frac{1}{n}\sum _{i=1}^n(\widetilde{Y_i}?Y_i{)}^2$$

4.Exponentially Loss

損失函數的標準形式是：

$$L(y,f(x))=exp[?yf(x]$$

關于Adaboost的詳細推導介紹，可以參考Wikipedia：AdaBoost或者李航《統計學習方法》P145。

5 其他損失

0-1 損失函數

絕對值損失函數

上述幾種損失函數比較的可視化圖像如下：

總結

機器學習作為一種優化方法，學習目標就是找到優化的目標函數——損失函數和正則項的組合；有了目標函數的“正確的打開方式”，才能通過合適的機器學習算法求解優化。

參考資料：
[1] https://blog.csdn.net/google19890102/article/details/50522945
[2] https://www.cnblogs.com/hejunlin1992/p/8158933.html
[3] https://blog.csdn.net/u014755493/article/details/71402991
[4] https://webcache.googleusercontent.com/search?q=cache:http://kubicode.me/2016/04/11/Machine%20Learning/Say-About-Loss-Function/&gws_rd=cr

總結

以上是生活随笔為你收集整理的总结各类损失函数【修】的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。