Deep Long-Tailed Learning: A Survey

• 引言
• • 長尾學習
• 介紹
• 問題定義與基本概念
• • 問題定義
• 類平衡方法
• • 類重平衡
  • • Re-Sampling
    • Cost-sensitive Learning Cost-sensitive
    • Logit Adjustment
  • Information Augmentation
  • • Transfer Learning
    • Data Augmentation
  • Module Improvement
  • • Representation Learning
    • Decoupled Training

Deep Long-Tailed Learning: A Survey-論文地址

引言

長尾數據是指數據失衡，數據集中類別數量存在分布不均衡問題，典型的長尾數據集數據分布如下圖所示：

長尾學習

• 在數據分布不平衡的情況下，能夠訓練良好的深度學習模型。
• 在長尾數據集中，通用的視覺識別模型容易偏向Head部數據，而忽視tail數據。
• 長尾數據的學習研究主要分為三大類：
  - 類重新平衡（class re-balancing）
  - 數據增強（informaton augmentation）
  - 模塊改進（module improvement）

介紹

在實際應用中，訓練樣本通常呈現長尾類分布，其中一小部分具有大量樣本點，而其他類僅有少數樣本。在這種訓練集下，經過訓練的模型很容易偏向于具有大量訓練數據的頭部類別，導致在數據有限的尾部類上模型性能較差。
下面是長尾數據集學習的方式如下：

本文通過一個全新的指標“相對準確度”（Relative accuracy metric)，對長尾效應解決的SOTA方法進行評估

問題定義與基本概念

問題定義

長尾學習尋求從具有長尾類分布的訓練數據集中學習深度神經網絡模型，即其中一小部分類具有大量樣本，其余類僅與少量樣本關聯。主要面臨挑戰是：

• 數據數量不平衡使得深度模型偏向于頭類，而在尾類上表現不佳
• 尾類樣本的缺乏使得訓練模型進行尾類分類更具挑戰性。
• 類不平衡：類不平衡可以看做是包含長尾效應的，但是類不平衡有時候類別數目比較少，而長尾學習中有大量的類并且尾部數據更加的稀少
• 少樣本學習：少樣本學習可以看作是長尾學習的一個子任務，在長尾學習中尾部樣本數目通常非常少。
• 域外泛化學習：指的是訓練集和測試集分布不一致，包括數據邊際分布、不一致類別分布、以及兩種的組合情況。長尾學習可以看作域外泛化的特定任務。
  

類平衡方法

現在的長尾學習方法，主要包含類別重平衡、信息增強、模型提升。

• 類平衡：重采樣、重新加權分類損失、邏輯調整
• 信息增強：數據增強、遷移學習
• 模型增強：特征學習、分類器設計、解耦訓練、集成學習

類重平衡

Re-Sampling

常見的采樣平衡方式主要是有Random under-sampling和random over-sampling，通過減少頭部數據的采樣或者過多的采樣尾部數據，可能分別導致頭部數據的檢測表現下降或者尾部數據出現過擬合。另外有兩種現階段的方法如下：

• Class-balanced re-sampling:Instance-balanced sampling 表示每個實例抽樣概率相同，Class-balanced sampling表示每個類別選取的概率是相同。
  · Square-Root sampling(文獻117) — 取樣本的平方根概率。
  · Progressively balanced sampling(文獻32) — 在Instance-balanced sampling 和 Class-balanced sampling中漸進插值。
  · bi-Level class-balanced(文獻34) — 結合圖像級采樣和實例級采樣。
  · Dyanmic curriculum learning(文獻75) — 從一個類中抽樣越多，一個類的的概率越低。
  · Balanced meta-softmax(文獻86) — 提出元學習方法，通過平衡元驗證集優化模型分類器性學習最佳樣本分布參數。
  · FASA（文獻103）— 通過使用平衡元驗證集上的模型分類損失（作為度量）來調整不同類別的特征采樣率。
  · LOCE（文獻33）— 建議使用平均分類預測分數（即運行預測概率）來監控不同類別上的模型訓練，并指導記憶增強特征采樣以增強尾部類別性能。
  · VideoLT（文獻38）— FrameStack在訓練期間根據運行模型的性能動態調整不同類的采樣率，以便可以從尾部類（通常運行性能較低）中采樣更多的視頻幀，從頭部類中采樣更少的幀。
• Scheme-oriented sampling:為長尾學習提供一些特定的學習方案，如度量學習和集成學習
  · LMLE （文獻66）— 提出一個五元采樣器，對四組對比，一組正樣本，三組負樣本
  · Truplet loss （文獻118）— 兩兩對比樣本
  · Partitioning reservoir sampling(文獻82) — 提出一種在線記憶算法，能動態維護數據
  · Bilateral-branch network （文獻48）— BBN對傳統分支采用均勻采樣，模擬原始長尾訓練分布;同時，BBN在重平衡分支上采用了反向采樣器來采樣更多的尾類樣本，以提高尾類性能。最后的預測是兩個網絡分支的加權和。
  ·LTML （文獻77） — 將雙邊分支網絡擴展到長尾多標簽分配問題。
  · GIST （文獻102）— 也探索了頭部到尾部的遷移學習問題。
  · BAGS（文獻78）— 將數據按樣本數目劃分為多個小組，分別進行預測
  · LST（文獻77）— Class balanced data reply strategy進行數據平衡

Cost-sensitive Learning Cost-sensitive

處理類別不平衡的方式主要包括class-level re-weighting 和 class-level re-margining.

• Class-level re-weighting：優化標簽頻率對損失的影響
  · （文獻105）— 基于樣本的影響
  · （文獻29）— 模型預測和平衡之間的對齊
  · （文獻86）— 提出使用標簽頻率調整訓練過程中的模型預測
  · LADE（文獻31）— 介紹了標簽分配Disentangling loss學習訓練過程中的長尾分布
  · CB（文獻16）— 引入effective number(訓練樣本數量的指數函數)，通過與有效樣本數反比的方式進行類平衡
  · Focal loss (文獻68) — 將更高的權重分配給尾部數據，頭部數據獲得更低的權重。
  · Meta-Weight-Net （文獻76）— 通過學習得到類別權重，元學習
  · DisAlign（文獻29）— 通過最小化調整后的預測分布和給定平衡參考分布之間的KL-Divergence
  · EQL（文獻19）— 當尾部樣本使用頭部樣本作為負樣本時，減少loss權重
  ` EQLV2(文獻91) — 分為子任務，每個子任務專注一個類
  · Seesaw loss（文獻92）— 使用兩個參數提高Loss和抑制Loss
  · Adaptive class suppression loss（文獻93）— 根據輸出的置信度是抑制梯度
• Class-level re-margining ：調整不同類學習功能與模型分類器之間的最小邊界（距離）
  · label-distribution-aware margin (LDAM)（文獻18）
  · Bayesian estimate （文獻72）

Logit Adjustment

Information Augmentation

Transfer Learning

• 遷移學習-Transfer Learning:在長尾學習領域，主要在頭部到尾部的遷移學習、模型預訓練學習、知識蒸餾、自訓練。

Data Augmentation

• 數據增強:對數據進行增強，但是常規的增強手段往往不能直接應用，需要對類別進行調整。

Module Improvement

主要分為四個部分：

• (1) representation learning improves the feature extractor—基于表征學習的特征提取器;
• (2) classifier design enhances the model classifier—分類器設計的增強分類器模型;
• (3) decoupled training boosts the learning of both the feature extractor and the classifier—解耦訓練提高特征提取和分類器學習;
• (4) ensemble learning improves the whole architecture—集成學習改善整個架構

Representation Learning

主要包含 Metric Learning、Sequential trianing、Prototype Learning 和Transfer Learining

• Metric Learning：目的是建立物體之間相似性或者不相似性，在長尾學習中是探索目標之間的距離損失，學習更具判別特征空間
• Sequential trianing：數據不同的排布訓練模式，按照特定順序進行訓練，感覺有點像兩階段解耦訓練的方式。
• Prototype Learning ：新的網絡結構，開放世界檢測/記憶力等方式
• Transfer Learining：權重文件的不同加載

Decoupled Training

第一階段學習特征的表達，第二階段學習分類

總結

以上是生活随笔為你收集整理的【看看这长尾效应】长尾效应综述的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。