導讀：機器學習的學習方式包括監督學習和無監督學習等。針對一個給定的任務，首先要準備一定規模的訓練數據，這些訓練數據需要和真實數據的分布一致，然后設定一個目標函數和優化方法，在訓練數據上學習一個模型。此外，不同任務的模型往往都是從零開始來訓練的，一切知識都需要從訓練數據中得到。這也導致了每個任務都需要準備大量的訓練數據。在實際應用中，我們面對的任務往往難以滿足上述要求，比如訓練任務和目標任務的數據分布不一致，訓練數據過少等。這時機器學習的應用會受到很大的局限。并且在很多場合中，我們也需要一個模型可以快速地適應新的任務。因此，人們開始關注一些新的學習方式。

本文中將介紹兩種典型的“模型獨立的學習方式”：多任務學習和遷移學習。這里“模型獨立”是指這些學習方式不限于具體的模型，不管是前饋神經網絡、循環神經網絡還是其他模型。

01

多任務學習

一般的機器學習模型都是針對單一的特定任務，比如手寫體數字識別、物體檢測等。不同任務的模型都是在各自的訓練集上單獨學習得到的。如果有兩個任務比較相關，它們之間會存在一定的共享知識，這些知識對兩個任務都會有所幫助。這些共享的知識可以是表示（特征）、模型參數或學習算法等。目前，主流的多任務學習方法主要關注于表示層面的共享。

多任務學習（Multi-task Learning）是指同時學習多個相關任務，讓這些任務在學習過程中共享知識，利用多個任務之間的相關性來改進模型在每個任務上的性能和泛化能力。多任務學習可以看作是一種歸納遷移學習（Inductive Transfer Learning），即通過利用包含在相關任務中的信息作為歸納偏置（Inductive Bias?

總結

以上是生活随笔為你收集整理的模型独立学习：多任务学习与迁移学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。