Soft-Clipping Swish激活函數(shù)

論文：Soft-Clipping Swish: A Novel Activation Function for Deep Learning

年份：2021

該激活函數(shù)稱為Soft-Clipping Swish (SC Swish)。受到Swish函數(shù)的啟發(fā)，將Swish變?yōu)橐粋€閾值函數(shù)，這意味著對于負(fù)輸入，輸入變成0；而正輸入，激活函數(shù)變成Swish。它非常類似于ReLU函數(shù)，改進(jìn)后的正區(qū)域增加了非線性。
Soft-Clipping激活函數(shù)為：
$$f(x)=SoftClipping(x)=\frac{1}{\alpha }log(\frac{1+e^{\alpha x}}{1+e^{\alpha (x?1)}}),\alpha >0$$
Soft-Clipping的曲線如下圖

從Soft Clipping開始，獲得到SC Swish激活函數(shù)具體定義如下：
$$Swish(x)=x?Sigmoid(x)=x?\frac{1}{1+e^{?x}}$$
$$f(x)=\max (0,Swish(x))=\max (0,x?\frac{1}{1+e^{?x}})$$
具體的函數(shù)的曲線如下圖\ref{fig:SCSwishs}所示。

該函數(shù)SC_Swish是一個連續(xù)函數(shù)，非單調(diào)，上下無界函數(shù)。

總結(jié)

以上是生活随笔為你收集整理的Soft-Clipping Swish激活函数的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。