轉自：專知【https://www.zhuanzhi.ai/】

【導讀】現有的機器學習方法在很多場景下需要依賴大量的訓練樣本。但機器學習方法是否可以模仿人類，基于先驗知識等，只基于少量的樣本就可以進行學習。本文介紹41頁小樣本學習綜述《Few-shot Learning: A Survey》，包含146篇參考文獻，來自第四范式和香港科技大學習的研究學者。

論文地址：

Few-shot Learning: A Survey?www.zhuanzhi.ai

目錄：

• 摘要
• 簡介
• 概覽
  • 符號
  • 問題定義
  • 相關的學習問題
  • 核心問題
  • 分類
• 數據
  • 利用變換來復制增強數據集
  • 從別的數據集引入數據
  • 總結
• 模型
  • 多任務學習
  • 嵌入學習
  • 額外記憶學習
  • 生成模型
  • 總結
• 算法
  • 改善已有參數
  • 改善Meta-learned
  • 學習搜索步驟
  • 總結
• 未來工作
  • 問題設置
  • 技術
  • 應用
  • 理論
• 總結

【摘要】“機器會思考嗎”和“機器能做人類做的事情嗎”是推動人工智能發展的任務。盡管最近的人工智能在許多數據密集型應用中取得了成功，但它仍然缺乏從有限的數據示例學習和對新任務的快速泛化的能力。為了解決這個問題，我們必須求助于機器學習，它支持人工智能的科學研究。特別地，在這種情況下，有一個機器學習問題稱為小樣本學習(Few-Shot Learning，FSL)。該方法利用先驗知識，可以快速地推廣到有限監督經驗的新任務中，通過推廣和類比，模擬人類從少數例子中獲取知識的能力。它被視為真正人工智能，是一種減少繁重的數據收集和計算成本高昂的培訓的方法，也是罕見案例學習有效方式。隨著FSL研究的廣泛開展，我們對其進行了全面的綜述。我們首先給出了FSL的正式定義。然后指出了FSL的核心問題，將問題從“如何解決FSL”轉變為“如何處理核心問題”。因此，從FSL誕生到最近發表的作品都被歸為一個統一的類別，并對不同類別的優缺點進行了深入的討論。最后，我們從問題設置、技術、應用和理論等方面展望了FSL未來可能的發展方向，希望為初學者和有經驗的研究者提供一些見解。

小樣本學習方法體系：

• 我們給出了FSL的形式化定義。它可以自然地鏈接到以往文獻中提出的經典機器學習定義。這個定義不僅足夠概括，包括所有現有的FSL -shot Learning: A Survey problems，而且足夠具體，明確了什么是FSL的目標，以及我們如何解決它。這一定義有助于確定未來FSL領域的研究目標。
• 指出了基于誤差分解的FSL在機器學習中的核心問題。我們發現，正是不可靠的經驗風險最小化使得FSL難以學習。這可以通過滿足或降低學習的樣本復雜度來緩解。理解核心問題有助于根據解決核心問題的方式將不同的工作分類為數據、模型和算法。更重要的是，這為更有組織和系統地改進FSL方法提供了見解。
• 我們對從FSL誕生到最近發表的文獻進行了廣泛的回顧，并將它們進行了統一的分類。對不同類別的優缺點進行了深入的討論。我們還對每個類別下的見解進行了總結。這對于初學者和有經驗的研究人員都是一個很好的指導方針。
• 我們在問題設置、技術、應用和理論方面展望了FSL未來的四個發展方向。這些見解都是基于當前FSL發展的不足之處，并有可能在未來進行探索。我們希望這部分能夠提供一些見解，為解決FSL問題做出貢獻，為真正的AI而努力。
• 與已有的關于小樣本概念學習和經驗學習的FSL相關調相比，我們給出了什么是FSL，為什么FSL很難，以及FSL如何將小樣本監督信息與先驗知識結合起來使學習成為可能的正式定義。我們進行了廣泛的文獻審查的基礎上提出的分類法與詳細討論的利弊，總結和見解。我們還討論了FSL與半監督學習、不平衡學習、遷移學習和元學習等相關話題之間的聯系和區別

元學習設置：

監督機器學習中常見設置與少樣本設置的比較

基于嵌入學習的小樣本學習方法

學習FSL問題的搜索步驟

總結

以上是生活随笔為你收集整理的小样本点云深度学习库_论文 | 小样本学习综述的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。