《Deep Learning》（Ian Goodfellow & Yoshua Bengio & Aaron Courville）第四章「數(shù)值計算」中，談到了上溢出（overflow）和下溢出（underflow）對數(shù)值計算的影響，并以softmax函數(shù)和log softmax函數(shù)為例進行了講解。
這里我再詳細地把它總結(jié)一下。

『1』什么是下溢出（underflow）和上溢出（overflow）
實數(shù)在計算機內(nèi)用二進制表示，所以不是一個精確值，當數(shù)值過小的時候，被四舍五入為0，這就是下溢出。
此時如果對這個數(shù)再做某些運算（例如除以它）就會出問題。
反之，當數(shù)值過大的時候，情況就變成了上溢出。

『2』softmax函數(shù)是什么
softmax函數(shù)如下：
$$f(x{)}_i=\frac{e^{x_i}}{{\sum }_{j=1}^n{e}^{x_j}},j=1,2,???,n$$
從公式上看含義不是特別清晰，所以借用知乎上的一幅圖來說明（感謝原作者）：

這幅圖極其清晰地表明了softmax函數(shù)是什么，一圖勝千言。

『2』計算softmax函數(shù)值的問題
通常情況下，計算softmax函數(shù)值不會出現(xiàn)什么問題，
例如，當softmax函數(shù)表達式里的所有$x_i$都是一個“一般大小”的數(shù)值c時–也就是上圖中,
$z_1=z_2=z_3=c$時,那么,計算出來的函數(shù)值$y_1=y_2=y_3=\frac{1}{3}$

但是，當某些情況發(fā)生時，計算函數(shù)值就出問題了：

①c 極其大，導致分子計算$e^c$時上溢出。
②c 為負數(shù)，且 |c|很大，此時分母是一個極小的正數(shù)，有可能四舍五入為0，導致下溢出。

『3』如何解決 （針對①）
所以怎樣所以怎樣規(guī)避這些問題呢？我們可以用同一個方法一口氣解決倆：
令 M = max($x_i$), i =1,2,3,….,n,即M為所有$x_i$ 中最大的值，那么我們只需要計算$f(x_i?M)$的值，就可以解決上溢出、下溢出的問題了，并且，計算結(jié)果理論上仍然和$f(x_i)$ 保持一致。

舉個實例：還是以前面的圖為例，本來我們計算$f(z_2)$是用“常規(guī)”方法來算的：

$\frac{e^{z_2}}{e^{z_1}+e^{z_2}+e^{z_3}}$

$=\frac{e^1}{e^3+e^1+e^{?3}}$

$\approx 0.12$

---

$\frac{e^{z_2}}{e^{z_1}+e^{z_2}+e^{z_3}}$

$=\frac{\frac{e^{z_2}}{e^M}}{\frac{e^{z_1}}{e^M}+\frac{e^{z_2}}{e^M}+\frac{e^{z_3}}{e^M}}$

$=\frac{e^{1?3}}{e^{1?3}+e^{3?3}+e^{?3?3}}$

$\approx 0.12$

通過這樣的變換，對任何一個$x_i$,減去M之后,$e^{x_i?M}$的最大值為0，所以不會發(fā)生上溢出；
同時，分母中也至少會包含一個值為1的項，所以分母也不會下溢出
（四舍五入為0,這里的意思是分母中某個$x_i=M$,所以分母肯定大于1）。
所以這個技巧沒什么高級的技術(shù)含量。
總結(jié)：這里是在分析和處理分子上溢出，分母下溢出的情況

『4』延伸問題 （針對②）
看似已經(jīng)結(jié)案了，但仍然有一個問題：如果softmax函數(shù)中的分子發(fā)生下溢出，也就是前面所說的 c 為負數(shù)，且 |c|很大，此時分母是一個極小的正數(shù)，有可能四舍五入為0的情況，此時，如果我們把softmax函數(shù)的計算結(jié)果再拿去計算 log，即 log softmax，其實就相當于計算 log(0)，所以會得到 ?∞，但這實際上是錯誤的，因為它是由舍入誤差造成的計算錯誤。（這段話的意思是害怕分母為０）
所以，有沒有一個方法，可以把這個問題也解決掉呢？
答案還是采用和前面類似的策略來計算 log softmax 函數(shù)值：

$$log|f(x_i)|$$
$$=log(\frac{e^{x_i}}{e^{x_1}+e^{x_2}+???＋e^{x_n}})$$
$$=log(\frac{\frac{e^{x_i}}{e^M}}{\frac{e^{x_1}}{e^M}+\frac{e^{x_2}}{e^M}+???+\frac{e^{x_n}}{e^M}})$$
$$=log(\frac{e^{(x_i?M)}}{{\sum }_j^n{e}^{(x_j?M)}})$$
$$＝log(e^{(x_i?M)})?log(\sum _j^n{e}^{(x_j?M)})$$
$$=(x_i?M)?log(\sum _j^n{e}^{(x_j?M)})$$

在最后的表達式中,會產(chǎn)生下溢出的因素已經(jīng)被消除掉了——求和項中,至少有一項的值為1（因為有一項$x_j$-M是０）,這使得log后面的值不會下溢出，也就不會發(fā)生計算 log(0) 的悲劇。

總結(jié)：這里是在分析和處理分子下溢出，分母下溢出的情況

參考鏈接：
https://blog.csdn.net/m0_37477175/article/details/79686164

總結(jié)

以上是生活随笔為你收集整理的softmax函数上溢出和下溢出(转载＋自己理解)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。