1 起源

在一些問題中，我們的目標函數是max(x1,x2,...xn) 或者min(x1,x2,....xn)，但是max和min都不是可微函數，因而這些目標函數無法直接用到深度學習任務中

2 交叉熵與softmax

????????在神經網絡中，假設我們最后一層使用的是softmax，來得到各個概率分布，softmax的形式為，其中

????????而在分類問題或者一些其他問題中，我們會使用到交叉熵，其中的每一項，我們都有形如

? ? ? ? 其中，減號后面的部分，就是這一個博客需要說明的log-sum-exp (LSE)

2.1 softmax的上下溢出

????????假設我們目前有兩個例子：一個數據集為[10000,10000,10000]（很大的數，exp(xi)之后會上溢出）；另一個數據集為[-10000,-10000,-10000]（很小的數，exp(xi)之后會下溢出）

? ? ? ? 這兩組數據，如果我們用肉眼去看，肯定可以很輕松地得到它的概率分布為，但是，如果我們用python去計算這兩個數據集的概率的時候：會是這樣的情況：

import numpy as np def softmax(lst):lst_exp=np.exp(lst)total=np.sum(lst_exp)return(lst_exp/total)softmax([10,10,10]) #array([0.33333333, 0.33333333, 0.33333333]) #數值不大的時候，可以得到正確的softmax結果softmax([10000,10000,10000]) ''' RuntimeWarning: overflow encountered in expThis is separate from the ipykernel package so we can avoid doing imports until python\python37\lib\site-packages\ipykernel_launcher.py:5: RuntimeWarning: invalid value encountered in true_divide""" array([nan, nan, nan]) '''softmax([-10000,-10000,-10000])'''RuntimeWarning: invalid value encountered in true_divide""" array([nan, nan, nan]) '''

????????我們可以發現，數值不是很大/小的時候，是可以得到正確的softmax結果的，但是如果是我們給的這兩組極大/小的數據集，那么會得到上/下溢出，得不到正確的softmax結果

? ? ? ? 在softmax的時候是針對指數進行操作的，值一定會很大。但是之后在計算cross-entropy的時候由于log的存在導致值又回到正常范圍。

????????因此在實際操作中，考慮如何去重寫，以得到正常范圍內的值。也就是如何去近似log-sum-exp。

3 log-sum-exp trick

我們假設第j項是x中最大的：

? ? ? ? ? ? ? ? ? ?

? ? ? ? ? ? ? ? ? ? ? ? ? ??

而之前我們計算softmax項的時候，有：

所以我們現在有：

此時差分比絕對數值要小很多了，大的數據也就可以計算了

#這里的意義其實和前面的softmax函數有一點小小的出入，這里是前面softmax的結果再經過了log之后的內容np.log([1/3,1/3,1/3]) #array([-1.09861229, -1.09861229, -1.09861229])import numpy as np def softmax_log(lst):max_val=np.max(lst)lst=lst-max_val#lst就相當于xk-xjlst_exp=np.exp(lst)total=np.sum(lst_exp)total=np.log(total)#最后一項return(lst-total)softmax_log([10000,10000,10000]) #array([-1.09861229, -1.09861229, -1.09861229])softmax_log([-10000,-10000,-10000]) #array([-1.09861229, -1.09861229, -1.09861229])softmax_log([100,100,100]) #array([-1.09861229, -1.09861229, -1.09861229])

?4 max的平滑

根據泰勒分解，我們有：

于是我們這里令 上式的X為x+a，c為x，f(X)=log(X)

所以

也即?

而當xj是最大的一項時，我們第二項可以忽略不計（值比第一項要小很多）

所以

參考資料?關于LogSumExp - 知乎 (zhihu.com)

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的max函数的平滑（log-sum-exp trick）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。