在眾多卷積神經(jīng)網(wǎng)絡(luò)（CNN）壓縮算法中，二值化網(wǎng)絡(luò)（BNN）作為網(wǎng)絡(luò)量化的極端情況，一直擁有著高壓縮比，高加速比的性能優(yōu)勢(shì)，但是 BNN 的精度不高也一直飽受詬病，阻礙了 BNN 在實(shí)際場(chǎng)景中的應(yīng)用。

今天和大家分享一篇 ECCV 2020 上發(fā)表的工作 ReActNet: Towards Precise ?Binary Neural Network with Generalized Activation Functions。是 Bi-Real Net 作者在二值化研究領(lǐng)域的最新成果。該論文用簡單的平移激活值分布的操作，就取得了超過等同于實(shí)數(shù)值 ResNet 的精度，可以說是長久以來對(duì)于 BNN 的艱苦探索的里程碑式的工作。

?

論文標(biāo)題：ReActNet:Towards Precise Binary Neural Network with Generalized Activation Functions

論文鏈接：https://arxiv.org/abs/2003.03488

代碼鏈接：https://github.com/liuzechun/ReActNet

?

這篇文章通過簡單的可學(xué)習(xí)的參數(shù)值，達(dá)到優(yōu)化 Activation 的分布的目的，從而增加 BNN 的中激活值所攜帶的信息量。僅僅通過這一簡單的改進(jìn)，配合 Distributional Loss，本文 ReActNet，便可壓縮 MobileNet V1 至 87M FLOPs，并且取得高達(dá) 69.4% 的精度。

?

這比著名的 XNOR-Net 的結(jié)果 51.2% 要高出了 18.2%，而所需的 FLOPs 也幾乎僅僅是 XNOR-Net 的 1/2。同時(shí)，69.4% 的精度已經(jīng)超過 69.3% 的實(shí)數(shù)值 ResNet 精度，這也是首次 BNN 網(wǎng)絡(luò)能取得和實(shí)數(shù)值 ResNet 網(wǎng)絡(luò)同等高的精度，揭示了 BNN 的巨大潛力。

?

下圖是 ReActNet 與各個(gè)方法的對(duì)比。

而達(dá)成這個(gè)高精度的網(wǎng)絡(luò) ReActNet 的核心，其實(shí)是非常簡單直接操作。作者通過實(shí)驗(yàn)發(fā)現(xiàn)，BNN 卷積輸出的特征圖很難同時(shí)兼顧攜帶足夠的特征信息和保證輸出值范圍適合下一層二值化操作。即，如果直接對(duì)網(wǎng)絡(luò)中傳遞的實(shí)數(shù)值進(jìn)行取 Sign 操作，可能會(huì)遇到由于實(shí)數(shù)值范圍不合適而導(dǎo)致的二值化特征圖攜帶信息量低。如下圖所示。

只有在特征圖的取值范圍合適的時(shí)候（圖（b）），所輸出的二值化特征圖才是包含最多信息量和最容易被網(wǎng)絡(luò)是別的。

?

基于這個(gè)觀察，作者提出了 Generalized Sign 和 PReLU 函數(shù)，稱之為 RSign （ReAct Sign）和 RPReLU （ReAct PReLU），通過一個(gè)可學(xué)習(xí)的位移量來讓網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)最適合的 binary 閾值和 Activation 的分布。

?

直觀的理解，比如 RPReLU 所做的事情就是 Move Activation Distribution，Reshape，Move。移動(dòng)，重塑，再移動(dòng)。如下圖所示。

?

結(jié)合 Distributional Loss 和基于 MobileNet V1 的網(wǎng)絡(luò)改進(jìn)，用了RSign 和 RPReLU 的 ReActNet 能在 ImageNet 數(shù)據(jù)集上取得了 69.3% 的 Top-1 Accuracy，超過了 State-of-the-art 的結(jié)果。而從網(wǎng)絡(luò)內(nèi)部的 Activation 分布中也可以看出，增加了 RSign 和 RPReLU 的 ReActNet 有更強(qiáng)的表達(dá)能力，可以捕捉到更精細(xì)的 Activation distribution。

最后，HKUST Vision and System Design Lab 正在招有硬件經(jīng)驗(yàn)的同學(xué)來當(dāng)博士后，由 Tim CHENG 老師直接指導(dǎo)。如果你曾在 DAC，ICCAD 或同等硬件會(huì)議/期刊上發(fā)表過一作論文，歡迎發(fā)送簡歷到 zliubq@connect.ust.hk

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來。

?????來稿標(biāo)準(zhǔn)：

? 稿件確系個(gè)人原創(chuàng)作品，來稿需注明作者個(gè)人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請(qǐng)?jiān)谕陡鍟r(shí)提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會(huì)添加“原創(chuàng)”標(biāo)志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請(qǐng)單獨(dú)在附件中發(fā)送?

? 請(qǐng)留下即時(shí)聯(lián)系方式（微信或手機(jī)），以便我們?cè)诰庉嫲l(fā)布時(shí)和作者溝通

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的ECCV 2020 | 史上最强二值化网络ReActNet，精度首超ResNet的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。