前情提要

前面我們有說，BERT做的是什么？ Bert做的是填空題！ GPT做的是什么？ 做的是預測接下來要出現的Token是什么？ 它里面的結構有點像Transformer中的Decoder

GPT最有名的就是生成了一個關于獨角獸的假新聞！ 同時也說明了它的作用就是可以寫出一個文章

GPT系列很難去訓練，因為太大了，也很難去fine-tune！ 但是GPT有一個很狂的想法： 就是說我們只給你少量或者沒有參考樣本，在給出你提示后，讓你去學習出正確的答案！

給出了42個任務！ 這些是42個任務的準確率！

Beyond Text

當然也可以用在不同的領域上了！

Image

BYOL：Bootstrap Your Own Latent（不知道為什么會Work！ Deep learning的神奇）
SimCLR

Speech

Audio Version/Bert 也可以補全語音

Speech GLUE- SUPERB

這是各種Self-supervised的模型！

總結

以上是生活随笔為你收集整理的李宏毅机器学习（七）GPT的野望的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。