摘要：小樣本學(xué)習(xí)算法目標(biāo)是學(xué)習(xí)模型參數(shù)，使其能夠適應(yīng)于少量有標(biāo)簽的未見類樣本分類。最近，正則化方法——流形混合算法（Manifold Mixup），集中于學(xué)習(xí)廣泛的表示，以適應(yīng)數(shù)據(jù)分布的小變化；另一方面，自監(jiān)督學(xué)習(xí)是僅利用數(shù)據(jù)內(nèi)在結(jié)構(gòu)學(xué)習(xí)語義特征。針對小樣本任務(wù)，本文利用自監(jiān)督和正則化技術(shù)，研究學(xué)習(xí)相關(guān)特征流形。

注釋：流形混合算法（Manifold Mixup）作用是使網(wǎng)絡(luò)對輸入數(shù)據(jù)進(jìn)行變換/嵌入后，更加平滑和均勻，從而使得系統(tǒng)的泛化，性能得到改善。

1. 主要貢獻(xiàn)：

1）發(fā)現(xiàn)Manifold Mixup的正則化技術(shù)，對數(shù)據(jù)分布的小變化具有魯棒性，增強(qiáng)小樣本任務(wù)的性能；

2）在訓(xùn)練處理過程增加自監(jiān)督損失，能夠?qū)φZ義特征穩(wěn)定學(xué)習(xí)，推動小樣本分類的重大進(jìn)步。在自監(jiān)督任務(wù)中使用旋轉(zhuǎn)（rotation[18]）和標(biāo)本（exemplar[11]）。（了解自監(jiān)督可參考解讀自監(jiān)督學(xué)習(xí)(Self-Supervised Learning)幾篇相關(guān)paper - 知乎）

3）運(yùn)用Manifold Mixup的正則化技術(shù)在特征流形上，利用自監(jiān)督任務(wù)，可以進(jìn)一步改善小樣本任務(wù)性能。

2. 方法?

2.1基本情況

? ? ? ? 考慮典型的小樣本學(xué)習(xí)問題。：大量有標(biāo)簽樣本集，共類；：少量有標(biāo)簽樣本（支撐集S）和無標(biāo)簽樣本（查詢集Q），類別共新類。

• ?學(xué)習(xí)的第一步是訓(xùn)練類的神經(jīng)網(wǎng)絡(luò)分類器：

? ? ? ??是卷積特征,是余弦分類器，是模型的超參數(shù)。

• 學(xué)習(xí)的第二部是：fine-tuning模型，凍結(jié)特征層，訓(xùn)練類余弦分類器。該模型（S2M2）如圖1所屬。

? ? ? ? 該方法關(guān)鍵是借助自監(jiān)督和規(guī)則技術(shù)學(xué)習(xí)通常目的的表示來解決小樣本任務(wù)。自監(jiān)督方法是采用文獻(xiàn)[18]的旋轉(zhuǎn)和文獻(xiàn)[11]的exemplar來得到適合的特征流形，之后使用Manifold Mixup的正則化[62]來提供穩(wěn)定的特征提取架構(gòu)。

2.2?Manifold Mixup for Few-shot Learning

? ? ? ? 在神經(jīng)網(wǎng)絡(luò)分類器高層表示經(jīng)常看作是有意義的流形，提供數(shù)據(jù)相關(guān)幾何特征，可以解決某個具體任務(wù)。因此，空間上特征向量的線性插值與分類相關(guān)。依據(jù)這一出發(fā)點，Manifold Mixup借助神經(jīng)網(wǎng)絡(luò)線性插值可有助于訓(xùn)練模型泛化性。

? ? ? ?假設(shè)Manifold Mixup在基類上，訓(xùn)練損失表示如下：

?式中，：分別是輸入和的第l層特征，損失L：標(biāo)準(zhǔn)交叉熵，混合系數(shù)是從β分布中取樣。

? ? ? ? 訓(xùn)練損失函數(shù)Lmm是為了激勵模型預(yù)測，更少地信任隱含層表示的線性插值。

2.3?Charting the Right Manifold

2.3.1 Self-Supervision: Towards the Right Manifol
（1）旋轉(zhuǎn)

? ? ? ? 在該自監(jiān)督任務(wù)里，輸入圖像旋轉(zhuǎn)不同角度，模型的附屬目的是預(yù)測旋轉(zhuǎn)量。在圖像分類中，附屬損失被加到標(biāo)準(zhǔn)類損失來學(xué)習(xí)更一般的表示。

? ? ? ? 在本文中，使用了4類線性分類器來，預(yù)測屬于4類中哪一個。線性分類器位于特征表示倒數(shù)第二層，其中特征表示為圖像x旋轉(zhuǎn)了4個角度。

?（2）Exemplar

? ? ? ? Exemplar訓(xùn)練目的是使特征表示對于廣泛的圖像變形（平移、尺度、旋轉(zhuǎn)、對比度和色彩變換）具有不變性。在某個小批次M，每個圖像通過隨機(jī)增量產(chǎn)生4個副本，這4個副本是圖像的正例，該批次的其他圖像是負(fù)例。之后，在特征上使用硬批次三元組損失和軟邊界，使得正例特征表示更接近。

? ? ? ? ?損失表示如下：

?式中，D是特征表示空間f的歐式距離，是x中類別i的第k個示例，exp項是圖像與正示例間最大距離，我們希望其減小。min距離是指圖像與負(fù)示例間的距離，我們希望其最大化。

2.3.2 S2M2

? ? ? ? 小樣本學(xué)習(xí)場景依賴于學(xué)習(xí)穩(wěn)定性和特征泛化能力來區(qū)分基類（base classes）和新類(novel classes)。為了這個目的，重要的方法是使用更寬的決策邊界來劃分基類表示，這樣允許模型對新類具有泛化性。Manifold Mixup提供有效方法使已知類扁平表示變得更緊湊。可是，文獻(xiàn)[62]聲稱Manifold Mixup能處理小的分布變化，但是當(dāng)基類和新類差距較大時就無能為力了。因此，本文使用自監(jiān)督方法，當(dāng)訓(xùn)練基類時附加損失提供了特征表示的更豐富的決策邊界，允許模型更適應(yīng)新類。

流程如下，具體包括兩個步驟：

• 步驟1：自監(jiān)督訓(xùn)練：利用自監(jiān)督的附加損失訓(xùn)練模型，計算分類損失；
• 步驟2：混合流形的精調(diào)：利用混合模型損失精調(diào)步驟1的模型。
• 得到訓(xùn)練好的網(wǎng)絡(luò)，利用余弦分類器適應(yīng)小樣本任務(wù)。

• 代碼鏈接：https://github.com/nupurkmr9/S2M2 fewshot
• 文章鏈接：http://arxiv.org/abs/1907.12087v2

小樣本學(xué)習(xí)的前提是訓(xùn)練樣本集有大量樣本，目標(biāo)是解決少量未見樣本的分類。但是，有很多領(lǐng)域，訓(xùn)練樣本集也缺少。怎么辦？

總結(jié)

以上是生活随笔為你收集整理的理解《Charting the Right Manifold: Manifold Mixup for Few-shot Learning》的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。