提示學習prompt

為什么要用提示學習？下游任務的目標與預訓練的目標差距過大導致提升效果不明顯，微調過程中依賴大量的監督語料

降低語義差異：預訓練任務主要以（MLM）為主，而下游任務則重新引入新的訓練參數，因此兩個階段的目標通常有較大差異；

避免過擬合：由于再Fine-tuning階段需要新引入額外的參數以適配相應的任務需要，因此在樣本數量有限的情況容易發生過擬合，降低了模型的泛化能力。

提示：寫完文章后，目錄可以自動生成，如何生成可參考右邊的幫助文檔

文章目錄

• **提示學習prompt**
• 一、Prompt工作原理
• 二、提示學習的組成部分
• 三、提示學習的設計
• • 1.人工設計模板
  • 2.自動學習模板
• 四、為什么引入prompt
• Prompt的挑戰與展望
• 五、參考文獻

---

一、Prompt工作原理

提示：這里可以添加本文要記錄的大概內容：

例如：隨著人工智能的不斷發展，機器學習這門技術也越來越重要，很多人都開啟了學習機器學習，本文就介紹了機器學習的基礎內容。

---

提示：以下是本篇文章正文內容，下面案例可供參考

二、提示學習的組成部分

其他 NLP 任務的 Prompt 如何設計呢？實際上劉鵬飛大神在他的論文中給我們提供了一些參考

三、提示學習的設計

1.人工設計模板

Prompt 的模板最開始是人工設計的，人工設計一般基于人類的自然語言知識，力求得到語義流暢且高效的「模板」。人工設計模板的優點是直觀，但缺點是需要很多實驗、經驗以及語言專業知識。下圖是 GPT Understands, Too 論文中的一個實驗結果

2.自動學習模板

四、為什么引入prompt

Prompt的挑戰與展望

Prompt的設計問題。目前使用Prompt的工作大多集中于分類任務和生成任務，其它任務則較少，因為如何有效地將預訓練任務和prompt聯系起來還是一個值得探討的問題。另外，模板和答案的聯系也函待解決。如何同時搜索或者學習出兩者聯合的最好效果仍然很具挑戰性。

Prompt的理論分析和可解釋性。盡管Prompt方法在很多情況下都取得了成功，但是目前prompt-based learning的理論分析和保證還很少，使得人們很難了解Prompt為什么能達到好的效果，又為什么在自然語言中意義相近的Prompt有時效果卻相差很大。

Prompt在PLM debias方面的應用。由于PLM在預訓練過程中見過了大量的人類世界的自然語言，所以很自然地受到了影響。比如說訓練語料中有很多的"The capital of China is “Beijing.”，導致模型認為下次看到"capital" 的時候都會預測出"Beijing",而不是著重看到底是哪個國家的首都。在應用的過程中，Prompt還暴露了PLM學習到的很多其它bias，比如種族歧視、恐怖主義、性別對立等等。

五、參考文獻

總結

以上是生活随笔為你收集整理的提示学习Prompt介绍的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。