論文筆記整理：申時榮，東南大學博士生。

---

來源：ICML2020

鏈接：http://arxiv.org/abs/2002.06753

元學習算法會生成特征提取器，這些特征提取器在進行few-shot分類時就可以達到最新的性能。盡管文獻中有大量的元學習方法，但對于為什么生成的特征提取器表現如此出色的原因知之甚少。本文對元學習的基本機制以及使用元學習訓練的模型與經典訓練的模型之間的差異有了更好的了解。在此過程中，本文針對元學習模型為何表現更好而提出了一些假設。除了可視化之外，本文還根據假設設計了一些正則化器，這些正則化器可改善幾次快照分類的性能。

1.元學習

?????? 元學習算法的目的是產生一個網絡，該網絡可以使用很少的數據快速適應新的類別。具體來說，元學習算法會找到可以在幾個優化步驟和幾個數據點上進行微調的參數，以實現對任務Ti的良好概括，該任務Ti由來自分布和標簽空間的少量數據樣本組成在訓練期間沒有被看見。如果在看到Ti中n個類別中的每個類別的k個示例后，元學習算法必須適應對Ti中的數據進行分類，則該任務的特征為n-way，k-shot。

?????? 元學習方案通常依賴于帶有內部循環和外部循環的雙層優化問題。

外循環的迭代涉及首先對“任務”進行采樣，該“任務”包括兩組標記數據：支持數據Tsi和查詢數據Tqi。然后，在內部循環中，使用支持數據對要訓練的模型進行微調。最后，例程返回到外循環，在該外循環中，元學習算法將查詢數據相對于預微調的權重的損失降至最低。通過微分內環計算并更新網絡參數以使內環微調盡可能有效，來執行此最小化。

2.元學習有效性的解釋和可視化

實驗發現，在所有情況下，元學習特征提取器均優于相同體系結構的經典訓練模型。全面的性能優勢表明，元學習的功能在質量上與傳統功能有所不同，并且從根本上來說優于一次性學習。

2.1在特征空間中測量聚類

?????? 首先，測量不同的訓練方法對特征表示的聚類程度：

?????? 直觀上來看，使用元學習后，內部的聚類性能會更好，更有利于少樣本去構建分類邊界。

2.2比較元學習和經典訓練模型的特征表示

	通過LDA對特征空間進行可視化：

可以看到，元學習和原型學習的方法，在語義空間中的分布更加合理。特征空間的聚類可以提高遷移的成功率。

2.3為參數空間中的任務損失尋找局部極小值簇

我們在特征空間圖中看到，由MAML特征生成的前兩個LDA組件在外觀上看起來是分開的類。現在，我們通過為預先訓練的MAML模型以及相同體系結構的經典訓練模型計算我們的正則化值，來量化MAML與轉移學習相比的班級分離程度。我們發現，實際上，MAML表現出比相同體系結構的經典訓練模型更差的特征分離。

3總結

在這項工作中，闡明了元學習網絡與經過經典訓練的對等網絡之間的兩個關鍵區別。我們發現有證據表明，相對于類之間的差異，元學習算法將類中特征向量之間的差異最小化。將類內特征的變化減至最少對few-shot性能至關重要。

?

---

?

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

點擊閱讀原文，進入 OpenKG 博客。

總結

以上是生活随笔為你收集整理的论文浅尝 - ICML2020 | 拆解元学习：理解 Few-Shots 任务中的特征表示的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。