?作者?|?機器之心編輯部

來源?|?機器之心

對于本文提出的全新自監督學習方法 Siamese Image Modeling 中，網絡從同一圖像的遮蓋視圖預測另一個增強視圖的密集特征，使其兼顧 Instance Discrimination 方法的語義對齊能力和 Masked Image Modeling 方法的空間分辨能力。

論文標題：

Siamese Image Modeling for Self-Supervised Vision Representation Learning

論文鏈接：

https://arxiv.org/abs/2206.01204

自監督學習長久以來都是視覺領域努力追求的目標，它能夠幫助我們利用大量的無標注數據，并且推動了很多下游任務的進步。

為了有效地以自監督的方式訓練網絡，研究者們提出了各式各樣的 “代理任務”（pretext task）來生成監督信號，其中最為典型的有兩類框架：Instance Discrimination（ID）與 Masked Image Modeling（MIM）。

ID 方法希望拉近相同圖像的不同增強視圖，同時避免特征坍塌（包括 MoCo、BYOL、Barlow Twins 等方法）。這種方法學習到的特征往往具有很強的線性可分性，所以 ID 方法在線性分類任務上表現出色，但是近期的一些研究表明它在下游的檢測任務上并不優于監督學習。另一方面，MIM 方法通過一張遮蓋圖像來重建原始圖像（包括 BEiT、MAE 等方法），它通常在檢測任務上表現優異，但是不能做好線性分類任務，而且在少樣本場景下表現一般。

為了解決這些矛盾，來自清華和商湯的研究者們提出：這種差異是因為兩種方法各自忽略了特征所需要的語義對齊和空間分辨能力。具體來說：

1. 語義對齊能力要求語義相似的圖像能被映射到鄰近的特征表示，這可以通過對比相同圖像的不同增強視圖來達到；

2. 空間分辨能力要求特征能夠建模圖像內部的空間結構，而通過遮蓋圖像去預測密集特征表示能夠幫助達成這點，因為這種做法建模了圖像內部的條件分布。

基于這些思考，研究者提出了 Siamese Image Modeling（SIM），該方法通過一張遮蓋的增強視圖來預測相同圖像的另一張增強視圖的密集特征表示。

為了達到這個目標，SIM 采用了孿生網絡結構，該結構包含 online 和 target兩個分支。Online 分支首先將第一張遮蓋視圖映射到特征空間，然后基于第一張圖的特征和第一、二張圖的相對位置坐標來預測第二張圖的特征；Target 分支則負責將第二張圖映射到特征空間來獲得目標特征。

通過這種方式，SIM 能夠分別在線性分類任務上和 ID 方法持平，以及在檢測任務上和 MIM 方法持平，研究者進一步發現即便沒有全局的損失函數，SIM 也能給出很好的線性分類表現。

方法

1.1 數據增強

數據增強策略對于特征的學習有著非常重要的作用：ID 方法已經揭示了更強的空間和顏色增強對于提升線性分類效果顯著；MIM 方法則采用了遮擋增強來幫助模型學習圖像的局部結構。因此，SIM 保留了 ID 方法中的強數據增強策略，同時對輸入給 online 分支的視圖采用遮擋增強策略。

1.2 預測目標

SIM 被設計成去預測相同圖像的不同增強視圖的密集特征，這里將介紹預測和目標分別是如何計算的。

Online 分支負責做出預測。它首先將第一張遮擋視圖 映射成特征 ，之后利用解碼器 基于特征 ，掩碼詞符 m 和他們的位置編碼來做出預測：

其中， 是第一張視圖 的位置編碼， 對應第二張視圖 在 處的圖塊的位置編碼，它們會在下文介紹。

Target 分支負責給出目標。它的編碼器是 Online 分支編碼器的滑動平均，并且接收第二張視圖的所有圖塊并編碼為目標特征 。

最后介紹解碼器所需的位置編碼是如何計算的。所有的圖塊都是以第一張視圖 的左上角作為原點來計算的。具體來說，假設兩張視圖在原圖中的位置信息分別為 和 （分別代表左上角橫縱坐標與高度寬度），第一張視圖的相對位置為：

第二張視圖的相對位置為：

對于第二張圖，尺度變化也被進一步加入位置信息中：

最后，這些信息輸入到 sincos 位置編碼函數中得到如下位置編碼：

1.3 損失函數

SIM 采用 UniGrad 作為損失函數：

UniGrad 被采用主要出于兩個原因：1）這種對比函數是 ID 方法的統一形式；2）它對內存更加友好：注意到通常使用的 InfoNCE 損失函數需要 的內存來計算相似度，這對于有大量負樣本的密集層次損失函數是不現實的；而通過先計算負樣本之間的相關矩陣，UniGrad 只需要 的內存消耗。

SIM 嘗試將 UniGrad 施加在全局層次和密集層次，全局損失函數用全局平均的特征作為整張圖的特征：

而密集損失函數將每個圖塊作為單獨的樣本，并且為了減少與全局損失函數的沖突，每個圖塊的特征減去了全局平均特征:

最后的總體的損失函數為：

研究者發現在短輪數下，αα 給出最好的性能取舍。有趣的是，當訓練輪數足夠長時，只使用密集損失函數 αα 也能給出很好的線性分類性能。

實驗

2.1 主要結果

研究者在多種評估指標下對比了 SIM 和其它方法的性能，包括線性分類、ImageNet 全數據微調、ImageNet 1% 數據微調、COCO 上的物體檢測與實例分割。

線性分類方面，SIM 可以做到和 MoCo-v3 相當的水平，同時大幅超過 MAE（400ep 大約 11 個點，1600ep 大約 8 個點）；同時，即便不使用全局損失函數，SIM 也能給出不錯的線性分類結果；

檢測與分割任務上，SIM 超過了 MoCo-v3 大約 2 個點，也能在使用更短輪數的條件下達到與 MAE 相當的水平（400ep v.s. 1600ep）；

微調任務上，SIM 在全數據微調時可以達到和之前方法相當的水平，而當只有 1% 數據可用時，SIM 能夠超過 MoCo-v3 2 個點，MAE 14 個點。

2.2 消融實驗

預測像素還是特征。表中（ab）和（de）說明，在使用相同視圖作為輸入和目標時，預測像素性能更好；而使用不同視圖時，預測特征性能更好；

不同視圖。表中（ae）和（cf）說明，使用不同視圖能夠提升線性分類大概 7-13 個點；

顏色增強。表中（ac）和（ef）說明，對于不同視圖，顏色增強可以提升線性分類 3.5 個點，不過對于相同視圖則沒有這種提升效果。研究者猜測相同視圖會將預測目標所采用的顏色增強泄露給模型，從而破壞了對顏色不變性的建模；

對 projector 與 decoder 使用 BN 還是 LN。研究者嘗試將 projector 和 decoder 中的歸一化層從 LN 換成 BN，表中（fg）說明這種替換對線性分類與檢測任務都有一些提升；

全局損失函數。表中（gh）說明，全局損失函數有利于線性分類性能的提升，但是并不是必要的；

密集損失函數。表中（hi）說明密集損失函數能夠在物體檢測任務上提升 2.3 個點，在實例分割任務上提升 1.6 個點，這說明密集損失函數對下游密集預測任務是有幫助的。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。

📝?稿件基本要求：

? 文章確系個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發送，要求圖片清晰，無版權問題

? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算

📬?投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯系方式（微信），以便我們在稿件選用的第一時間聯系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

🔍

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

·

總結

以上是生活随笔為你收集整理的清华、商汤提出SIM方法，让自监督学习兼顾语义对齐与空间分辨能力的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。