文章目錄

• 1 為何來自暗黑大陸
• 2 GPT-3的野心
• 3 GPT-3的效果
• 4 Beyond GPT-3

本文為李弘毅老師【來自獵人暗黑大陸的模型 GPT-3】的課程筆記，課程視頻youtube地址，點這里👈(需翻墻)。

下文中用到的圖片均來自于李宏毅老師的PPT，若有侵權，必定刪除。

文章索引：

上篇 - 7-3 BERT and its family - ELMo, BERT, GPT, XLNet, MASS, BART, UniLM, ELECTRA, and more

下篇 - 7-5 Multilingual BERT

總目錄

1 為何來自暗黑大陸

GPT-3是一個language model，它的參數量相當巨大，是ELMO的2000倍！要訓練一個GPT-3大概要花掉1200萬美元！簡直是一個炫富專用的模型！GPT-3不光是參數量大，它的論文也是相當大啊，有72頁？！和本科生的畢業論文差不多了啊！

正式因為GPT-3的大大大，所以把它稱作是來自暗黑大陸的模型，這里的暗黑大陸就是全職獵人里的暗黑大陸，里面都是巨大的怪獸，沒看過這部動漫的同學建議補一下。

2 GPT-3的野心

雖然GPT-3和BERT等模型一樣，但是GPT-3是不需要針對特定的task做finetune的，也就是說GPT-3只需要預訓練就夠了。要是這實現了，也太牛了！

具體是什么意思呢？GPT-3定義了三種learning，第一個是"few-shot learning"，就是先告訴模型要干什么，然后給幾個例子，最后給模型一個題目讓它做出來；第二個是"one-shot learning"，就是告訴模型要干什么，然后給一個例子，最后給模型一個題目讓它做出來；最后一個是"zero-shot learning"，就是告訴模型要干什么，然后給模型一個題目讓它做出來。這就相當于人一樣了。而且更值得遺體的是，這里的learning并不是要做梯度下降的那種learning，而是全都作為輸入直接塞進去就可以了，這種learning被GPT-3的作者們稱作"in-context learning"。

3 GPT-3的效果

那么花了那么大工作搞出來的GPT-3效果如何呢？在42個NLP任務上的平均準確率隨參數量的變化如下圖所示，可見隨著參數兩的增大，準確率是在一直上升的。

GPT-3在closed book QA上的表現如下所示，之前的QA都是給一個knowledge source，讓模型從中找出答案，而所謂的closed book就是沒有knowledge source的QA，就只給問題，看模型能不能夠打上來。在175B參數量的情況下，用few-shot是可以超過SOTA的。

GPT-3咋SuperGLUE的表現如下圖所示，總結一下就是參數量越大，給的例子越多，模型的表現就越好。

GPT-3也可以用在生成任務上，下圖是不同參數量下GPT-3生成的文章讓人去辨別是不是機器生成時的準確率，當參數量最大時，人幾乎已經無法辨別出時機器還是人寫的了。

GPT-3也會做算術，如下圖所示，問它"What is 17 minus 14?"這樣的兩位數的加減法基本都會回答正確，但是三位數及以上就不靈了。感覺還是數據驅動的原因。

當然，GPT-3也有不擅長的任務，比如NLI任務，GPT-3的結果就和隨便猜的一樣。NLI就是給兩句話，讓模型判斷是矛盾，還是相近，還是中立。

4 Beyond GPT-3

既然我們已經有了這么多那么龐大的language model，我們自然也要給模型難度更大的任務了，比如Turing Advice Challenge，就是讓模型去reddit讓給別人的求助提建議，然后看人覺得有用的建議有多少。T5這樣的大模型也只有9%的建議是有點用的，GPT-3還沒試過。可見這是一個很難的任務。期待之后的NLP的發展情況！

總結

以上是生活随笔為你收集整理的Chapter7-4_來自獵人暗黑大陸的模型 GPT-3的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。