轉(zhuǎn)載自CSDN, CReLU激活函數(shù)

CReLU 一種改進(jìn) ReLU 激活函數(shù)的文章，來(lái)自ICML2016.

1. 背景介紹

整個(gè)文章的出發(fā)點(diǎn)來(lái)自于下圖的統(tǒng)計(jì)現(xiàn)象：



為了看懂上圖。

（1）首先介紹一下余弦相似度(cos距離)的概念



cos距離的取值范圍是 [-1,+1]，距離越接近-1，表示兩個(gè)向量的方向越相反，即呈負(fù)相關(guān)關(guān)系。

?
?

（2）再來(lái)介紹一下 pair filter的定義

一個(gè)卷積層有 \(j=1, \cdots, n\) 個(gè)卷積核(filter), 一個(gè)卷積核 \(?_i\) 對(duì)應(yīng)的 pairing filter 定義為

\[?_i = argmin_{?_j}cos<?_i, ?_j>\]

即從所有卷積核中選擇一個(gè)cos相似度最小的卷積核。

我們?cè)倩仡^看上圖。 對(duì)所有卷積核尋找其 pair filter，并計(jì)算cos相似度得到藍(lán)色的統(tǒng)計(jì)直方圖。 紅色的曲線(xiàn)，是假設(shè)隨機(jī)高斯分布生成的卷積核得到的相似度統(tǒng)計(jì)。

現(xiàn)象：網(wǎng)絡(luò)的前部，參數(shù)的分布有更強(qiáng)的負(fù)相關(guān)性(類(lèi)似于正負(fù)對(duì)立)。隨著網(wǎng)絡(luò)變深，這種負(fù)相關(guān)性逐步減弱。
結(jié)論：網(wǎng)絡(luò)的前部，網(wǎng)絡(luò)傾向于同時(shí)捕獲正負(fù)相位的信息，但ReLU會(huì)抹掉負(fù)響應(yīng)。 這造成了卷積核會(huì)存在冗余。

2. CReLU

CReLU的定義很簡(jiǎn)單：

\[\text{CReLU(x)= Concat[ ReLU(x), ReLU(?x) ]}\]

輸出維度會(huì)自動(dòng)加倍。 比如

\[ [?3, 1] \rightarrow \begin{matrix} [[0&1], \\ [3&0]] \\ \end{matrix}\]

在網(wǎng)絡(luò)中的實(shí)現(xiàn)也很簡(jiǎn)單，甚至不用修改代碼（通過(guò)scale層取反再經(jīng)過(guò)一次ReLU）



轉(zhuǎn)載于:https://www.cnblogs.com/nowgood/p/crelu.html

總結(jié)

以上是生活随笔為你收集整理的CReLU激活函数的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。