?PaperWeekly ·?作者｜吳桐

學(xué)校｜香港中文大學(xué)博士生

我們的 Distribution-Balanced Loss for Multi-Label Classification in Long-Tailed Datasets 很榮幸被接收為 ECCV 2020 的 Spotlight Presentation。

本文關(guān)注的是長尾分布下的多標簽分類問題，并提出了一種分布平衡損失函數(shù)（Distribution-Balanced Loss），在 COCO-MLT 和 VOC-MLT 這兩個人工構(gòu)造的多標簽長尾數(shù)據(jù)集上進行實驗驗證，取得了很好的效果。文章和代碼均已公開。

論文鏈接：https://arxiv.org/abs/2007.09654

代碼鏈接：https://github.com/wutong16/DistributionBalancedLoss

視頻鏈接：youtu.be/AoEJF-osMgM

背景

真實世界中的數(shù)據(jù)分布往往是不平衡的，少數(shù)幾個頭部類別（比如人、車等）擁有大量可訓(xùn)練樣本，而大多數(shù)類別的樣本數(shù)量十分有限，在統(tǒng)計直方圖上形成長長的“尾巴”。

長尾分布問題近年來廣泛受到大家的關(guān)注，常用以驗證的有 ImageNet-LT, Place-LT, MS1M-LT [1]，iNaturalist, long-tailed CIFAR10/100 [2] 等單標簽數(shù)據(jù)集。MMLab 也是最早關(guān)注并正式定義長尾識別的實驗室之一 [1]?。

然而，采集自真實場景的圖片常常具有豐富的語義信息，多個物體共存是一種普遍情形。因此長尾分布下的多標簽分類任務(wù)是這篇文章主要關(guān)注的問題。

動機

從單標簽向多標簽的轉(zhuǎn)換，有幾個自然的思路：對前者有效的方法對后者來說是否仍適用？兩種設(shè)定在訓(xùn)練時的主要區(qū)別有哪些，又有怎樣的影響呢？

采樣難解耦

對于第一個問題，我們注意到重采樣（re-sampling）是一個常見而有效的策略，在幾個最新工作 [1,2,3,4] 中都作為關(guān)鍵組件出現(xiàn)，其中 [3,4] 提出重采樣法對分類器學(xué)習有顯著促進作用。但這種方法并不能順滑地遷移到多標簽情景中，因為標簽的共存性（co-occurrence）將導(dǎo)致不同類別在采樣時無法解耦。

舉個栗子，如果數(shù)據(jù)集中有限的幾張牙刷圖片樣本都同時包含刷牙的人在其中，那么在對“牙刷”這一尾部類別進行重采樣時，對“人”這一頭部類別的采樣也會只多不少。同時，注意到“刷牙的人”此時就會比“單獨出現(xiàn)的人”具有顯著更高的采樣頻率，為頭部類別額外引入類內(nèi)不均衡的問題。?

▲ 圖1 重采樣過程以及采樣前后分布直方圖對比

分類器出走

對于第二個問題，我們知道 Cross-Entropy Loss（CE Loss）是單標簽分類中常見的損失函數(shù)，其中 softmax 的計算強調(diào)分類器需要輸出唯一最大預(yù)測值，同時正負類別的預(yù)測值在損失函數(shù)中存在相互影響；而多標簽分類則多使用 Binary Cross-Entropy Loss（BCE Loss），將任務(wù)拆解為一系列相互獨立的二分類問題，并以 sigmoid 計算每一類別的輸出預(yù)測值。

現(xiàn)在我們來考慮分類器對一個負類輸出值的求導(dǎo)，兩種損失函數(shù)對應(yīng)梯度的差別如上式所示。對于 CE Loss，當同一樣本中的正類輸出足夠高時，對負類輸出求導(dǎo)的梯度值也會隨之減小，而對 BCE Loss 來說，構(gòu)造上的獨立性導(dǎo)致只有不斷降低負類輸出值本身才能夠降低自身梯度值，從而在訓(xùn)練后期該輸出將穩(wěn)定在一個相對更低的位置上。

這個過程的二者的可視化對比如下圖所示。（注意這里是損失函數(shù)的梯度函數(shù)，梯度值的大小影響優(yōu)化速度）

▲ 圖2 CE 和 BCE 對負類輸出的梯度函數(shù)可視化

然而，對于一個特定類別（尤其是尾部），數(shù)據(jù)集中絕大多數(shù)都是它的負樣本，當分類器被海量負樣本包圍，且被要求對每一個負樣本都輸出一個足夠低的預(yù)測值時，分類器向量在訓(xùn)練過程中將被迫遠遠偏離大量自然樣本的分布，而僅僅過擬合在它的個別正樣本上。

可以想像分類器預(yù)測值在特征向量（feature vector）空間中的分布具有一個尖銳的波峰，泛化性能很差。

方法

針對上述問題，我們分別提出了 Re-balanced weighting 和 Negative-tolerant regularization?兩個策略，并最終整合為一個損失函數(shù)的形式。

理想現(xiàn)實有差距，加權(quán)彌補

現(xiàn)在來對采樣過程做一個簡單的定量分析：假設(shè)我們希望所有類別都以相同的概率被采樣到，那么在不考慮標簽共存時，包含類別??的樣本??被采樣到的概率可記作??；但該樣本還可能含有其它正標簽，每一個正標簽都對它實際的采樣概率有所貢獻，后者可以計算出并記為??。

我們通過計算上述二者的比值??并以其作為加權(quán)系數(shù)加入訓(xùn)練，來彌補期待與實際采樣概率之間的差距。特別的，我們還設(shè)計了一個平滑函數(shù)，將權(quán)重系數(shù)映射到一個合理范圍內(nèi)。權(quán)重系數(shù)的計算過程如下所示。

過度懲罰不可取，點到為止

第二個問題我們在文中稱為負樣本的過度抑制（over-suppression of negative labels），一個簡單粗暴的解決思路便是，不要對負樣本持續(xù)施加過重的懲罰，而是點到為止。

我們只需要對分類器的負類輸出進行一個簡單的線性變換就能夠?qū)崿F(xiàn)上述功能，不要忘記加上正則化系數(shù)約束梯度值的范圍。變換后函數(shù)請見后文的整體公式，它對負類輸出的梯度與 CE 和 BCE 一同對比如下圖所示。

▲ 圖3 三種損失函數(shù)對負類輸出的梯度函數(shù)對比

權(quán)值正則兩相宜，統(tǒng)一框架

最后，上面兩個方法可以自然地融合為一個損失函數(shù)，并進行端到端的訓(xùn)練，下圖可視化了它的構(gòu)造過程。

▲ 圖 4 分布平衡損失函數(shù)構(gòu)造過程

我們來回顧一下整體計算框架：(1) 首先應(yīng)用重采樣法促進尾部類別分類器的學(xué)習，同時也對頭部類別引入了一定的類內(nèi)采樣不均衡性；(2) 接著，利用重加權(quán)的方法對無法解耦的采樣在權(quán)重上予以平衡；(3)最后，正則化方法緩解了對負類別輸出的過度抑制。

如下圖所示，特征向量（feature vector）空間各類別預(yù)測值的分布得到了遞進式的平衡，這也是分布平衡損失函數(shù)（Distribution-Balanced Loss）命名時的想法。

▲ 圖5 整體流程示意圖

實驗結(jié)果

我們基于 Pascal VOC 和 MS COCO 以抽取的方式人工構(gòu)造了兩個長尾分布的多標簽數(shù)據(jù)集用以訓(xùn)練，稱為 VOC-MLT 和 COCO-MLT，并以 mAP 為主要評價指標在原始測試集上進行驗證。

我們根據(jù)每個類別含有的訓(xùn)練樣本數(shù)量 將其劃分為頭部（head, ?），中部（medium,??）和尾部（tail,??）三個子集，并在整體和各子集上都進行了結(jié)果對比，結(jié)果如下表所示。

特別的，我們還測試了遞進實施每一步驟后，每一類別的指標增量（mAP increment），來分析每個技術(shù)對長尾分布的不同位置處類別的影響，具體結(jié)果以及更多的 Ablation study 可以參考原文。

展望

這篇文章關(guān)注的是長尾分布下的多標簽分類問題，并從已經(jīng)較為成熟的單標簽不平衡分類方法中得到啟發(fā)，從二者的差別入手，提出了一個簡單而有效的方法。深度學(xué)習發(fā)展到今天，學(xué)術(shù)界默認采用的單一域平衡數(shù)據(jù)集已無法反映 AI 算法的真正泛化能力。

我們邀請大家一起來攻關(guān)這個新興且更符合現(xiàn)實數(shù)據(jù)的領(lǐng)域，開放世界學(xué)習（Open World Learning），既包含類別分布上的復(fù)雜性 [1]，也包含數(shù)據(jù)域分布上的復(fù)雜性 [5]。

最后，歡迎大家關(guān)注我們的工作，提出寶貴的建議！

參考文獻

[1] Liu et al., Large-Scale Long-Tailed Recognition in an Open World, in CVPR 2019 (Oral),?liuziwei7.github.io/pro?
[2] Cui et al., Class-Balanced Loss Based on Effective Number of Samples, in CVPR 2019?
[3] Kang et al., Decoupling Representation and Classifier for Long-Tailed Recognition, in ICLR 2020?
[4] Zhou et al., BBN: Bilateral-Branch Network with Cumulative Learning for Long-Tailed Visual Recognition, in CVPR 2020 (Oral)
[5] Liu et al., Open Compound Domain Adaptation, in CVPR 2020 (Oral),?liuziwei7.github.io/pro

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習心得或技術(shù)干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創(chuàng)作品，來稿需注明作者個人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請在投稿時提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認每篇文章都是首發(fā)，均會添加“原創(chuàng)”標志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發(fā)送?

? 請留下即時聯(lián)系方式（微信或手機），以便我們在編輯發(fā)布時和作者溝通

????

現(xiàn)在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學(xué)術(shù)平臺。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的ECCV 2020 Spotlight | 多标签长尾识别前沿进展的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。