GPT1–finetune

• 12層單向transformer
• 預訓練+精調
• 被bert比下去了

GPT2-元學習

• 輸入：加上任務描述
  • “英翻法：This is life”
• 輸出：
  • “C’est la vie”
• 參數15億
• 在NLU:比不上bert
• 也比不過其他大參數模型：如Turing-NLG

GPT3-Language Models are Few-Shot Learners

paper鏈接：https://arxiv.org/abs/2005.14165
github鏈接：https://github.com/openai/gpt-3

• 無需finetune
  • finetune缺點：
    • 過分依賴領域數據
    • 數據少，會過擬合（非常容易……）
• 目標：用更少的領域數據、且不經過精調步驟去解決問題。
• 參數量：
• 仍是單向，在預測新的token時會對之前的examples進行編碼。
• GPT-3在Few-shot設定下，在部分NLU任務上超越了當前Fine-tuning的SOTA。
  
  

參考

paper鏈接：https://arxiv.org/abs/2005.14165
GPT-3誕生，Finetune也不再必要了！NLP領域又一核彈！

總結

以上是生活随笔為你收集整理的GPT1-3（GPT3/few-shot,无需finetune）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。