1 為什么需要 self-supervision？

• 為每個新的任務都創建一個新的數據集，開銷是很大的
• 有些領域標注是很稀缺的（比如醫療領域）
• 有些領域 數據集太大，來不及標注
• self-supervision 很像嬰兒學習的方式

2 什么是self-supervison

• A form of unsupervised learning where the data provides the supervision（用數據本身創造label）
• In general, withhold some part of the data, and task the network with predicting it
• The task defines a proxy loss, and the network is forced to learn what we really care about, e.g. a semantic representation, in order to solve it（proxy loss~~text loss）

總結

以上是生活随笔為你收集整理的NTU 课程笔记：self-supervised learning的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。