本文提出一種用于目標檢測的知識蒸餾新方法：General Instance Distillation，GID，可應用于各種檢測框架中，使得學生模型顯著提高AP的性能，甚至優于Teacher模型！

作者單位：曠視科技, 北航
論文：https://arxiv.org/pdf/2103.02340.pdf

近年來，知識蒸餾已被證明是模型壓縮的有效解決方案。這種方法可以使輕量級的學生模型獲得從繁瑣的教師模型中提取的知識。但是，以前的蒸餾檢測方法對于不同的檢測框架具有較弱的泛化性，并且嚴重依賴ground truth（GT），而忽略了實例之間的寶貴關系信息。

因此，我們提出了一種新的基于鑒別性實例的檢測任務的蒸餾方法，該方法不考慮GT區分出的積極或消極，這稱為通用實例蒸餾（GID）。

我們的方法包含一個通用實例選擇模塊（GISM），以充分利用基于特征的，基于關系的和基于響應的知識進行蒸餾。

General Instance Distillation

先前的工作[34]提出對象附近的特征區域具有相當多的信息，這對于知識的提煉是有用的。然而，我們發現，不僅對象附近的特征區域，而且甚至來自背景區域的區分斑塊都具有有意義的知識。基于此發現，我們設計了通用實例選擇模塊（GISM），如圖2所示。該模塊利用教師模型和學生模型的預測來選擇要蒸餾的關鍵實例。?

此外，為了更好地利用老師提供的信息，我們提取并利用了基于特征，基于關系和基于響應的知識進行蒸餾，如圖3所示。實驗結果表明，我們的蒸餾框架 對于當前最新的檢測模型來說是通用的。

算法細節（建議去看原文）：

實驗結果

廣泛的結果表明，在各種檢測框架下，學生模型可顯著提高AP的表現，甚至優于老師。具體來說，在Reconet上使用ResNet-50的RetinaNet在COCO數據集上具有GID的mAP達到了39.1％，比基線的36.2％超出了2.9％，甚至比具有38.1％的AP的基于ResNet-101的教師模型更好。

往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習及深度學習筆記等資料打印機器學習在線手冊深度學習筆記專輯《統計學習方法》的代碼復現專輯 AI基礎下載機器學習的數學基礎專輯 本站qq群851320808，加入微信群請掃碼：

總結

以上是生活随笔為你收集整理的【论文解读】CVPR 2021 | 旷视提出GID：用于目标检测的通用实例蒸馏的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。