1.ELMO微調(diào)2.微調(diào)階段下游任務(wù)：用訓(xùn)練好的模型繼續(xù)之后的任務(wù)E=r(S1*E1(詞特征)+S2*E2(句特征)+S3*E3(語義特征))注意：ELMO并不是把文本編碼成向量之后，直接作為下游任務(wù)模型輸入，而是將ELMO編碼的向量作為新的單詞特征補充到下游任務(wù)。ELMO是基于特征的微調(diào)。2.Bert微調(diào)：bert通過bert模型,可以編碼得到一個句子的句子向量,那么我們不會像ELMO一樣把這個向量作為新特征補充到下游任務(wù)，而是直接將該向量作為下游任務(wù)的輸入。當(dāng)最終代價產(chǎn)生的時候，反向傳播，就會將梯度傳到句子向量cls上，那么就會更新到bert里邊的參數(shù)。因此叫做基于微調(diào)的模型。 3.GPT微調(diào)：GPT通過GPT模型,可以編碼得到一個句子的句子向量,那么我們不會像ELMO一樣把這個向量作為新特征補充到下游任務(wù)，而是直接將該向量作為下游任務(wù)的輸入。當(dāng)最終代價產(chǎn)生的時候，反向傳播，就會將梯度傳到句子向量cls上，那么就會更新到GPT里邊的參數(shù)。因此叫做基于微調(diào)的模型。

總結(jié)

以上是生活随笔為你收集整理的预训练+微调任务的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。