14 篇论文为你呈现「迁移学习」研究全貌 | 论文集精选 #04
PaperWeekly 是一個 AI 學術分享社區。這里聚集了大批一線 AI 學者，他們用精煉妙語推薦各自發現的優質論文。點擊本文底部的「閱讀原文」即刻加入社區，創建屬于你的論文集。
這里是第 4 期論文集精選。遷移學習對于人類來說，就是掌握舉一反三的學習能力。對于計算機而言，所謂遷移學習，就是從一個或多個源任務（source task）中抽取知識和經驗，然后將其應用于一個有相關性的目標領域（target domain）。
本期我們帶來的是由 PaperWeekly 社區用戶?@jindongwang?創建的遷移學習專題論文集，通過 14 篇最新和經典論文，帶大家了解遷移學習的發展和現狀。如果有合你心意的論文，復制鏈接到瀏覽器即可查看原文。
Domain adaptation via transfer component analysis
@jindongwang?推薦
#Transfer Learning
遷移學習領域公認的經典工作，作者團隊來自香港科技大學 Qiang Yang 教授團隊，推薦所有做遷移學習研究的同學都看一看。
Geodesic flow kernel for unsupervised domain adaptation@jindongwang?推薦
#Unsupervised Learning
遷移學習領域代表性文章——GFK（Geodesic flow kernel）。GFK 方法首先解決 SGF 的問題：如何確定 source 和 target 路徑上中間點的個數。它通過提出一種 kernel 方法，利用路徑上的所有點的積分，把這個問題解決了。這是第一個貢獻。然后，它又解決了第二個問題：當有多個 source 的時候，我們如何決定使用哪個 source 跟 target 進行遷移？GFK 通過提出 Rank of Domain 度量，度量出跟 target 最近的 source，來解決這個問題。
Transfer feature learning with joint distribution adaptation
@jindongwang?推薦
#Domain Adaptation
遷移學習領域又一經典文章，是 TCA 的增強版本，推薦讀。JDA 方法比較巧妙，同時適配兩個分布，然后非常精巧地規到了一個優化目標里。用弱分類器迭代，最后達到了很好的效果，值得我們去學習。
Unsupervised Domain Adaptation by Backpropagation@jindongwang?推薦
#Transfer Learning
深度遷移學習經典文章。
How transferable are features in deep neural networks?@jindongwang?推薦
#CNN
探究深度網絡的可遷移性質，非常值得讀。雖然該論文并沒有提出一個創新方法，但是通過實驗得到了以下幾個結論，對以后的深度學習和深度遷移學習都有著非常高的指導意義。
神經網絡的前 3 層基本都是 general feature，進行遷移的效果會比較好；深度遷移網絡中加入 fine-tune，效果會提升比較大，可能會比原網絡效果還好；Fine-tune 可以比較好地克服數據之間的差異性；深度遷移網絡要比隨機初始化權重效果好；網絡層數的遷移可以加速網絡的學習和優化。
Deep Domain Confusion: Maximizing for Domain Invariance@jindongwang?推薦
#Deep Learning
深度遷移學習最早期的代表性文章，雖然至今為止不知道發在哪里（一直只是在 arXiv 上），但是引用量很大，算是比較基礎性的工作。值得一讀。
Learning Transferable Features with Deep Adaptation Networks@jindongwang?推薦
#Transfer Learning
深度適配網絡（Deep Adaptation Netowrk，DAN）是清華大學龍明盛提出來的深度遷移學習方法，最初發表于 2015 年的機器學習領域頂級會議 ICML 上。DAN 解決的也是遷移學習和機器學習中經典的 domain adaptation 問題，只不過是以深度網絡為載體來進行適配遷移。
Simultaneous Deep Transfer Across Domains and Tasks@jindongwang?推薦
#Transfer Learning
傳統的深度遷移學習方法只進行 domain confusion，這個文章加入了 task transfer，也就是說，充分考慮到類別之間的相似性。
A Unified Framework for Metric Transfer Learning@jindongwang?推薦
#Transfer Learning
這篇文章的作者團隊來自新加坡南洋理工大學，主要老板是 Sinno Jialin Pan，他是遷移學習大牛楊強的學生，《A survey on transfer learning》的第一作者。文章比較新，值得一讀。
Adversarial Discriminative Domain Adaptation@corenel?推薦
#Domain Adaptation
ADDA 總結了 DA 領域的總體架構，提綱挈領。
Correlation Alignment by Riemannian Metric for Domain Adaptation
@jindongwang?推薦
#Domain Adaptation
一個比較新的工作，但是創新性比較小：只是將現有的 CoRAL 工作中的距離度量換成了在黎曼空間下的度量。
Understanding How Feature Structure Transfers in Transfer Learning@jindongwang?推薦
#Representation Learning
IJCAI-17 最新文章，理解遷移學習中 feature 是如何進行 transfer 的。有兩個大牛 Qiang Yang 和 Dacheng Tao 坐鎮，文章肯定不差。
Associative Domain Adaptation@corenel?推薦
#Deep Learning Processor
相比較 ADDA 而言，從很大程度上提升了 DA 的性能，值得一讀。
Learning to Transfer@jindongwang?推薦
#Transfer Learning
遷移學習領域比較新的研究方向，將遷移學習與增量學習結合起來，是開創性的工作。建議一讀。
本文由 AI 學術社區 PaperWeekly 精選推薦，社區目前已覆蓋自然語言處理、計算機視覺、人工智能、機器學習、數據挖掘和信息檢索等研究方向，點擊「閱讀原文」即刻加入社區！
關于PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。
▽ 點擊 |?閱讀原文?| 收藏論文集
總結
以上是生活随笔為你收集整理的14 篇论文为你呈现「迁移学习」研究全貌 | 论文集精选 #04的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 每天接触大量论文，看看他们是怎样写笔记的
- 下一篇： 综述 | 知识图谱发展概述