在應用python進行神經網絡訓練時，我們需要提供神經網絡。如Keras中，

定義：在深度學習中。損失函數是用來衡量一組參數好壞的函數，其衡量方式是比較網絡輸出和真實輸出的差異。
損失函數有很多別名：價值函數，目標函數，誤差函數
損失函數并不使用測試數據來衡量網絡的性能，損失函數用來指導訓練過程，使得網絡的參數向損失降低的方向改變。
訓練過程：
人工智能的本質：最優化 （神經網絡優化算法python手寫實現）

損失函數特性

最小值，當網絡的輸出值和真實值一致時，損失為0，真實輸出和網絡輸出越不一致時值越大。

損失函數要求是凸函數，容易可導。需要根據輸出的變化而平滑的變化，如果不容易求導會導致訓練過程緩慢。

損失函數的前提：

不同的任務類型需要不同的損失函數
回歸型：絕對值誤差，平方誤差
分類型：hinge loss ,cross-entropy loss

回歸評價函數

絕對值誤差
outliers:異常值

平方誤差
對異常值敏感原因：x偏移一點點，平方后會更大

分類評價函數

softmax

softmax公式如下

獨熱編碼

cross-entropy loss
yk為真實輸出，lk為網絡輸出，s(lk）表示對網絡輸出進行softmax,
k表示k個類別


為什么分類不用均方誤差做損失函數

二分類
二分類可以不用softmax，使用sigmoid,也不用one-hot

二分類損失函數和多分類損失函數對比，其中σ為sigmoid函數

正則化

正則化可以和損失函數結合起來，防止過擬合
圖中L為損失函數

作者：電氣工程的計算機萌新-余登武

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的神经网络的损失函数讲解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。