ML之ME/LF：機器學習中的模型評估指標/損失函數(連續型/離散型)的簡介、損失函數/代價函數/目標函數之間區別、案例應用之詳細攻略

目錄

損失函數的簡介

損失函數/代價函數/目標函數之間區別

損失函數的案例應用

---

損失函數的簡介

? ? ? 損失函數，又稱目標函數，或誤差函數，用來度量網絡實際輸出與期望輸出之間的不一致程度，指導網絡的參數學習和表示學習。

0、損失函數特點

• 損失函數是一個非負實值函數。
• 針對不同的問題，會采用不同的損失函數
  – 回歸問題(連續型)：平方損失等
  – 分類問題(離散型)：對數損失、交叉熵等
• 不同的損失函數會影響網絡的訓練速度和網絡的泛化性能

1、損失函數-連續型輸出

平方損失函數(Square Loss)

絕對值損失函數(Absolute Value Loss)

2、損失函數-離散型輸出

交叉熵損失(Cross-Entropy Loss； Log Loss)，交叉熵損失：真實概率?? ; 模型預測概率??

熵：用于度量變量的不確定性程度
交叉熵：主要用于度量兩個概率分布間的差異性信息

(1)、二分類問題的交叉熵損失函數：
? ? ? ? ? 對于樣本（?, ?），?為樣本， ?為對應的標簽, 在二分類問題中，其取值的集合可能為{0，1}。假設某個樣本的真實標簽為?，該樣本的? = 1的概率為?，則該樣本的損失函數為：? (????(?) + 1 ? ? log(1 ? ?))。

2.1、交叉熵和Softmax在多分類問題的結合應用

ML之SR：Softmax回歸(Softmax Regression)的簡介、使用方法、案例應用之詳細攻略

損失函數/代價函數/目標函數之間區別

損失函數	用來估計你模型的預測值與真實值Y的不一致程度，它是一個非負實數值函數。損失函數越小，模型的魯棒性就越好。是定義在單個樣本上的，算的是一個樣本的誤差。 (1)、均方誤差：也叫平方損失，是回歸任務中最常見的性能度量。我們把均方誤差當做線性回歸的損失函數。因此我們可試圖讓其最小化
代價函數	定義在整個訓練集上的，是所有樣本誤差的平均，也就是損失函數的平均。
目標函數	定義為最終需要優化的函數。等于結構風險Cost Function+正則化項。 正則化項：我們直接最小化經驗風險很容易產生過擬合現象，所以一般需要在經驗風險上加正則化項或損失，結構風險定義為 其中為模型的復雜度。模型越復雜，復雜度越大。復雜度表示了對復雜模型的懲罰。結構風險最小化，需要經驗風險與模型復雜度同時最小。

損失函數的案例應用

后期更新……

總結

以上是生活随笔為你收集整理的ML之ME/LF：机器学习中的模型评估指标/损失函数(连续型/离散型)的简介、损失函数/代价函数/目标函数之间区别、案例应用之详细攻略的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。