本文首發(fā)于微信公眾號(hào)”夕小瑤的賣萌屋“

文 | 花小花Posy
源 | 夕小瑤的賣萌屋

最近關(guān)注對(duì)比學(xué)習(xí)，所以ACL21的論文列表出來(lái)后，小花就搜羅了一波，好奇NLPers們都用對(duì)比學(xué)習(xí)干了什么？都是怎么用的呀？效果怎樣呀？

接收列表中有21篇論文題目包含了關(guān)鍵詞“contrastive”。下圖是題目的詞云，其中最顯著的是使用對(duì)比學(xué)習(xí)去學(xué)習(xí)表示或者幫助語(yǔ)義理解，還有機(jī)翻、摘要、關(guān)系抽取。

小花選擇了10篇有意思的論文跟大家分享，方向包括句子表示[1-3]，自然語(yǔ)言理解[4-6], 生成式摘要[7]，意圖檢測(cè)[8]，多模態(tài)理解[9], 機(jī)器翻譯[10]。當(dāng)然還有其它的，比如用于事件抽取[12]、QA[13]等等，大家感興趣可以自行補(bǔ)充！

為了大家快速get到跟對(duì)比學(xué)習(xí)最相關(guān)的部分，主要涉及論文中哪里用了對(duì)比，對(duì)比的對(duì)象是誰(shuí)。

對(duì)比學(xué)習(xí)最重要的原料就是正例和負(fù)例的對(duì)比，以及在不同的應(yīng)用場(chǎng)景下應(yīng)該如何構(gòu)造合理的正例和負(fù)例，如何設(shè)計(jì)對(duì)比損失函數(shù)。正負(fù)例的構(gòu)造，可以分為利用顯式的數(shù)據(jù)增強(qiáng)方式構(gòu)造正負(fù)例[3-5,8-10]，或者通過在語(yǔ)義空間/模型層面采樣/生成正負(fù)例[1-2,6]。從對(duì)比損失函數(shù)的使用上來(lái)講，可以分為與原始的MLM損失加和一起進(jìn)行joint訓(xùn)練[1,5,10],或者進(jìn)行pipeline訓(xùn)練[7-8]。

下面有請(qǐng)今天的主角們登場(chǎng)，大家開心食用！

從BERT中提取出句子向量的easy模式，想必大家都超熟了，使用[CLS]的表示或者使用不同的pooling操作。但這就夠了嘛？當(dāng)然不夠！

從預(yù)訓(xùn)練語(yǔ)言模型中提取出句子表示的最優(yōu)方法是什么，仍是研究者們?cè)诓粩嗵剿鞯膯栴}。除了之前推送過的強(qiáng)者SimCSE以外，下面前三篇的主題都是如何利用對(duì)比學(xué)習(xí)去學(xué)習(xí)到更好的句子/文本片段表示。

[1] 自我引導(dǎo)的對(duì)比學(xué)習(xí)（一個(gè)BERT不夠，那就兩個(gè)）

Self-Guided Contrastive Learning for BERT Sentence Representations
https://arxiv.org/pdf/2106.07345.pdf

來(lái)自首爾大學(xué)，討論的問題是如何在不引入外部資源或者顯示的數(shù)據(jù)增強(qiáng)的情況下，利用BERT自身的信息去進(jìn)行對(duì)比，從而獲得更高質(zhì)量的句子表示？

文中對(duì)比的是：BERT的中間層表示和最后的CLS的表示。模型包含兩個(gè)BERT，一個(gè)BERT的參數(shù)是固定的，用于計(jì)算中間層的表示，其計(jì)算分兩步：(1) 使用MAX-pooling獲取每一層的句子向量表示 （2）使用均勻采樣的方式從N層中采樣一個(gè)表示；另一個(gè)BERT是要fine-tune的，用于計(jì)算句子CLS的表示。同一個(gè)句子的通過兩個(gè)BERT獲得兩個(gè)表示，從而形成正例，負(fù)例則是另一個(gè)句子的中間層的表示或者最后的CLS的表示。

文中還對(duì)比了不同負(fù)例組合的方式，最后發(fā)現(xiàn)只保留CLS的表示和隱藏層的表示之間的對(duì)比，忽略CLS和CLS以及中間層和中間層之間的對(duì)比是最優(yōu)的，即保留(1)(3)。

這篇論文沒有選擇直接從底層數(shù)據(jù)增強(qiáng)角度出發(fā)，是稍微偏模型方法的改進(jìn)的，側(cè)重挖掘模型內(nèi)部的信息。主實(shí)驗(yàn)是在STS和SentEval任務(wù)上測(cè)試的，從結(jié)果來(lái)看的話，仍然是SimCSE要好很多，而且SimCSE操作起來(lái)是更簡(jiǎn)單的。不過本文也是提供了一個(gè)不一樣的思路。

[2] 花式數(shù)據(jù)增強(qiáng)

ConSERT: A Contrastive Framework for Self-Supervised Sentence Representation Transfer
https://arxiv.org/pdf/2105.11741.pdf

來(lái)自北郵的工作，也是研究如何在無(wú)監(jiān)督的模式下，學(xué)習(xí)更好的句子表示。該工作主要對(duì)比了使用4種不同的數(shù)據(jù)增強(qiáng)方式進(jìn)行對(duì)比對(duì)句子表示的作用。

模型是在STS任務(wù)上進(jìn)行評(píng)估的。和SimCSE一樣也用了NLI做監(jiān)督，整體性能比SimCSE低1-2個(gè)點(diǎn)。

[3] 無(wú)監(jiān)督文本表示

DeCLUTR: Deep Contrastive Learning for Unsupervised Textual Representations
https://arxiv.org/pdf/2006.03659.pdf

DeCLUTR來(lái)自多倫多大學(xué)，是NLP領(lǐng)域使用對(duì)比學(xué)習(xí)中較早的一篇，去年6月份就放到arxiv上面了。

文章研究的問題同樣是：如何利對(duì)比學(xué)習(xí)從大量無(wú)標(biāo)注數(shù)據(jù)學(xué)習(xí)更好的通用句子表示？文中的對(duì)比體現(xiàn)在兩個(gè)方面：

1. 對(duì)比來(lái)自不同文檔的文本片段(span)的語(yǔ)義。如果兩個(gè)文本片段(span)來(lái)自同一個(gè)文檔，那么他們的語(yǔ)義表示的距離應(yīng)該相對(duì)較近，否則距離遠(yuǎn)；
2. 對(duì)比來(lái)自同一文檔的文本span。當(dāng)兩個(gè)文本片段都來(lái)自同一個(gè)文檔，如果他們?cè)谖臋n中的位置距離比較近，他們的語(yǔ)義表示距離近，否則遠(yuǎn)。

在采樣正例的時(shí)候有些講究。具體來(lái)講是先從一個(gè)文檔中采樣N(>=1)個(gè)原始文本片段 (錨點(diǎn)span)，然后從每個(gè)錨點(diǎn)span周圍采樣，作為正例 span。采樣規(guī)則是正例span可以與錨點(diǎn)span交疊、相鄰、從屬。負(fù)例是從一個(gè)batch中隨機(jī)采樣得到的。對(duì)比學(xué)習(xí)的損失函數(shù)是InfoNCE。模型整體的損失函數(shù)是InfoNCE和MLM的加和。

實(shí)驗(yàn)是在SenEval benchmark(28個(gè)數(shù)據(jù)集）上進(jìn)行測(cè)試的，包含有/半監(jiān)督任務(wù)和無(wú)監(jiān)督任務(wù)。有/半監(jiān)督任務(wù)的baseline有InferSent，Universal Sentence Encoder和Sentence Transformers；無(wú)監(jiān)督任務(wù)的baseline有QuickThoughts。最顯著的實(shí)驗(yàn)結(jié)果是DeCLUTR在大部分的數(shù)據(jù)集上取得了SOTA，并且在無(wú)監(jiān)督任務(wù)上取得了和有監(jiān)督任務(wù)相當(dāng)?shù)慕Y(jié)果。

接下來(lái)兩篇文章是關(guān)于如何利用對(duì)比學(xué)習(xí)提升自然語(yǔ)言理解任務(wù)的性能。

[4] 論負(fù)例對(duì)對(duì)比學(xué)習(xí)的重要性

CLINE: Contrastive Learning with Semantic Negative Examples for Natural Language Understanding
https://arxiv.org/pdf/2107.00440.pdf

來(lái)自清華大學(xué)，文章探討的是如何利用對(duì)比學(xué)習(xí)提高模型的魯棒性。在初步實(shí)驗(yàn)中發(fā)現(xiàn)用探針對(duì)句子語(yǔ)義進(jìn)行輕微擾動(dòng)，模型就會(huì)預(yù)測(cè)錯(cuò)誤。之前的對(duì)抗訓(xùn)練確實(shí)能夠從擾動(dòng)的樣本中學(xué)習(xí)，但是主要側(cè)重于語(yǔ)義相似的擾動(dòng)，忽略了語(yǔ)義不同或者相反的擾動(dòng)。這樣的語(yǔ)義改變無(wú)法被對(duì)抗學(xué)習(xí)無(wú)法檢測(cè)到。本文提出CLINE，使用無(wú)監(jiān)督的方法構(gòu)造負(fù)樣本。通過同時(shí)利用語(yǔ)義相似和相反的樣例和原始樣例進(jìn)行對(duì)比，模型可以偵測(cè)到擾動(dòng)導(dǎo)致的語(yǔ)義的改變。

正負(fù)例的構(gòu)造：

正例是將句子中的詞(名詞、動(dòng)詞、形容詞）替換為其同義詞. 負(fù)例是將句子中的詞替換為其反義詞或者隨機(jī)選擇的詞。

文中的損失函數(shù)由三部分構(gòu)成：掩碼語(yǔ)言模型的MLM損失 + 檢測(cè)當(dāng)前詞是否是被替換的詞 的損失RTD + InfoNCE對(duì)比正例和負(fù)例。有個(gè)小細(xì)節(jié)不太一樣的是對(duì)比InfoNCE中并沒有引入溫度參數(shù)τ。

實(shí)驗(yàn)是在NLU任務(wù)上進(jìn)行的，包括NLI(SNLI, PERSPECTRUM,) 情感分析(IMDB,MB) 閱讀理解 （BoolQ）, 新聞分類(AG)。實(shí)驗(yàn)結(jié)果表明使用CLINE訓(xùn)練的模型可以同時(shí)在對(duì)抗測(cè)試集和對(duì)比測(cè)試集上提升性能。

[5] 對(duì)比實(shí)例學(xué)習(xí)+遠(yuǎn)距離監(jiān)督關(guān)系抽取

CIL: Contrastive Instance Learning Framework for Distantly Supervised Relation Extraction
https://arxiv.org/pdf/2106.10855.pdf

來(lái)自阿里巴巴-浙江大學(xué)前沿技術(shù)聯(lián)合研究中心，研究如何利用對(duì)比學(xué)習(xí)提高遠(yuǎn)距離監(jiān)督的關(guān)系抽取任務(wù)的性能。

從對(duì)比角度講，正例是同一關(guān)系下的實(shí)例對(duì)，負(fù)例是不同關(guān)系的實(shí)例對(duì)。文中的重點(diǎn)是在有噪聲的情況下，如何構(gòu)造正負(fù)例。CIL的baseline是多實(shí)例對(duì)比學(xué)習(xí)，是將多個(gè)屬于同一關(guān)系的實(shí)例放在一個(gè)bag中，一起訓(xùn)練得到一個(gè)關(guān)系的表示。每個(gè)實(shí)例都被假設(shè)是表達(dá)了一個(gè)實(shí)體對(duì)之間的關(guān)系。

正例：直覺上講，對(duì)于一個(gè)實(shí)例的正例只要從同一個(gè)bag中隨機(jī)sample一個(gè)就好，或者使用bag的整體表示。但因?yàn)槭沁h(yuǎn)距離監(jiān)督，無(wú)法保證任意兩個(gè)實(shí)例之間都一定表達(dá)了同一種關(guān)系，同樣也無(wú)法保證樣例和bag的整體表示一定關(guān)系相同。如果這樣強(qiáng)行構(gòu)造正負(fù)例的話，必然會(huì)引入噪聲。文中采用的一種方式是，對(duì)于插入/替換掉中不重要的詞語(yǔ)（還是數(shù)據(jù)增強(qiáng)）。
負(fù)例：同樣因?yàn)槭沁h(yuǎn)距離監(jiān)督，不能隨便從一個(gè)別的bag中采樣一個(gè)實(shí)例作為的負(fù)例，那樣噪聲會(huì)比較大。因此文中采用了使用整個(gè)別的bag的表示作為負(fù)例，能相對(duì)更好地降噪。

模型的損失函數(shù)是InfoNCE對(duì)比損失和MLM損失的加權(quán)和。CIL在NYT10，GDS和KBP三個(gè)數(shù)據(jù)集上取得較大提升。

[6] Post-training中使用對(duì)比學(xué)習(xí)

Bi-Granularity Contrastive Learning for Post-Training in Few-Shot Scene
https://arxiv.org/pdf/2106.02327

來(lái)自中山大學(xué)，本文主要針對(duì)樣本量稀少的場(chǎng)景，如何使用對(duì)比學(xué)習(xí)先在無(wú)標(biāo)注數(shù)據(jù)集進(jìn)行post-training， 然后再在有標(biāo)注數(shù)據(jù)集上fine-tuning。

對(duì)比方法：互補(bǔ)的mask方法，將一個(gè)輸入進(jìn)行多次mask，第一次的mask的比例是, 第二次mask的時(shí)候只針對(duì)第一次mask中沒被選擇的token以的比例進(jìn)行mask,所以兩個(gè)句子被mask的部分是互補(bǔ)的，第三次以此類推。 對(duì)比是在多個(gè)被mask的輸入上進(jìn)行的。這樣做的好處是既可以避免太小時(shí)，兩個(gè)句子太相似導(dǎo)致對(duì)比損失迅速降到0，也可以避免太大而導(dǎo)致模型無(wú)法恢復(fù)mask的內(nèi)容。（和SimCSE的直接兩次dropout相比復(fù)雜了點(diǎn)，但有異曲同工之妙）。

實(shí)驗(yàn)是在少樣本GLUE上進(jìn)行的，只有20個(gè)樣例的時(shí)候提升不是很明顯，樣本100和1000的時(shí)候相比之前SOTA有輕微提升。

[7] 對(duì)比學(xué)習(xí)+生成式摘要

SimCLS: A Simple Framework for Contrastive Learning of Abstractive Summarization
https://arxiv.org/pdf/2106.01890

來(lái)自CMU，蠻有意思的一篇文章。核心點(diǎn)是利用對(duì)比學(xué)習(xí)將文本生成看作是reference-free的評(píng)價(jià)問題。

生成式摘要典型的框架是Seq2Seq，之前也有工作將對(duì)比學(xué)習(xí)損失作為MLE損失的增強(qiáng)。不同的是，這篇文章將兩個(gè)損失用在了不同的階段。文中將摘要生成分解為兩個(gè)過程：生成 和 評(píng)分+選擇。從而提出了two-stage的框架，stage1是Seq2Seq模型，仍然利用MLE損失生成候選摘要，stage2引入對(duì)比學(xué)習(xí)，利用參數(shù)化的評(píng)估模型對(duì)stage1中生成的候選進(jìn)行排序。兩個(gè)階段是分開優(yōu)化的，都是有監(jiān)督的。這里對(duì)比的是生成的候選摘要和原始文檔。引入了一個(gè)raking loss， 希望預(yù)測(cè)值和真實(shí)值接近；希望每個(gè)候選值之間有差距。

[8] 對(duì)比學(xué)習(xí) + 意圖檢測(cè)

Modeling Discriminative Representations for Out-of-Domain Detection with Supervised Contrastive Learning
https://arxiv.org/pdf/2105.14289.pdf

來(lái)自北郵模式識(shí)別實(shí)驗(yàn)室，研究的問題是：在Task-oriented的對(duì)話系統(tǒng)中，如何檢測(cè)用戶query中的跟task/domain不相關(guān)的問題。比如你問一個(gè)銀行的app語(yǔ)音助手，我有多少余額，它檢測(cè)該問題為in-domain (IND) 的問題，并給出回答；但你如果問它，我們一起健身的小伙伴都怎樣呀？我們不希望模型“不懂裝懂”，而是希望它可以檢測(cè)該問題為out-of-domain (OOD)，并引導(dǎo)用戶提出domain相關(guān)的問題。下圖是來(lái)自數(shù)據(jù)集[11]中的一個(gè)樣例。

OOD的檢測(cè)方法分為有監(jiān)督和無(wú)監(jiān)督的兩種。有監(jiān)督的方式在訓(xùn)練時(shí)已知哪些數(shù)據(jù)OOD的，所以在訓(xùn)練時(shí)可以將OOD的數(shù)據(jù)當(dāng)成一個(gè)類型；無(wú)監(jiān)督方式訓(xùn)練的時(shí)候只有標(biāo)注的IND數(shù)據(jù)。常用的方法是先利用IND數(shù)據(jù)學(xué)習(xí)類別的特征 (分類器），然后使用檢測(cè)算法計(jì)算IND樣本和OOD樣本的相似度。

本文的先驗(yàn)假設(shè)是：

一個(gè)OOD檢測(cè)模型依賴于高質(zhì)量IND類別表示模型。之前的IND分類器雖然在IND數(shù)據(jù)上表現(xiàn)好，應(yīng)用到OOD時(shí)性能不高，原因是類別間的間隔很模糊。所以該工作的核心是利用對(duì)比學(xué)習(xí)減小類內(nèi)距離，增大類間距離。更好的IND聚類促使更好的OOD分類。

本文主要針對(duì)的是無(wú)監(jiān)督OOD進(jìn)行訓(xùn)練，策略是先用有監(jiān)督對(duì)比學(xué)習(xí)在IND數(shù)據(jù)上訓(xùn)練，然后用cross-entropy損失對(duì)分類器fine-tune，有監(jiān)督對(duì)比學(xué)習(xí)的目標(biāo)是拉近IND中屬于拉近同一類別的意圖，推遠(yuǎn)不同類別的意圖。因此:

正例對(duì)來(lái)自同一個(gè)類別的數(shù)據(jù) 負(fù)例是不同類別的數(shù)據(jù)

文中也使用了對(duì)抗攻擊生成hard正例來(lái)做數(shù)據(jù)增強(qiáng)。文中的實(shí)驗(yàn)是比較全面的，對(duì)比了不同scale的數(shù)據(jù)集，不同的encoder，不同的OOD檢測(cè)算法。

小花覺得這篇有意思主要是因?yàn)镺OD檢測(cè)的思路，不僅可以用在意圖檢測(cè)領(lǐng)域，還可以直接擴(kuò)展到別的領(lǐng)域，比如用于關(guān)系抽取中檢測(cè)新的關(guān)系。

接下來(lái)的兩篇論文都利用了任務(wù)本身的屬性將對(duì)比擴(kuò)展到了多對(duì)多上，同時(shí)包含單個(gè)模態(tài)/語(yǔ)言的對(duì)比和跨模態(tài)/跨語(yǔ)言的對(duì)比。

[9] 對(duì)比學(xué)習(xí) + 多模態(tài)學(xué)習(xí)

UNIMO: Towards Unified-Modal Understanding and Generation via Cross-Modal Contrastive Learning
https://arxiv.org/pdf/2012.15409.pdf

來(lái)自百度的UNIMO，利用跨模態(tài)的對(duì)比學(xué)習(xí)將文本和視覺信息對(duì)齊到一個(gè)統(tǒng)一的語(yǔ)義空間。之前也有統(tǒng)一訓(xùn)練文本和視覺的模型，比如ViLBERT, VisualBERT，但是它們只能利用有限的文本-圖像對(duì)齊的數(shù)據(jù)，且無(wú)法有效的適應(yīng)到單模態(tài)的場(chǎng)景。本文要解決的是問題是：如何通過對(duì)比學(xué)習(xí)同時(shí)利用單模態(tài)和多模態(tài)的數(shù)據(jù)來(lái)實(shí)現(xiàn)更好的圖像-文本對(duì)齊？

對(duì)比部分核心的點(diǎn)是，通過花式重寫原始的caption來(lái)生成正例和負(fù)例。對(duì)于一對(duì)對(duì)齊的圖像-文本數(shù)據(jù)，通過文本重寫的方式構(gòu)造多模態(tài)的正負(fù)例樣本，同時(shí)通過文本/圖像檢索的方式構(gòu)造單模態(tài)的正例樣本。 正負(fù)例樣本又分為多個(gè)level，包括句子級(jí)別、短語(yǔ)級(jí)別、詞級(jí)別。比如句子級(jí)別的多模態(tài)的正例是通過back-translation生成的，負(fù)例是利用當(dāng)前圖片的字幕從其它圖片的字幕中找相似的得到的。

UNIMO的優(yōu)勢(shì)在于可以同時(shí)利用單模態(tài)數(shù)據(jù)和多模態(tài)對(duì)齊數(shù)據(jù)進(jìn)行訓(xùn)練，測(cè)試時(shí)在單模態(tài)的理解和生成任務(wù)上都表現(xiàn)很好。

[10] 對(duì)比學(xué)習(xí) + 機(jī)器翻譯

Contrastive Learning for Many-to-many Multilingual Neural Machine Translation
https://arxiv.org/pdf/2105.09501.pdf

看到這篇文章的時(shí)候，腦子里想的是，“一生二，二生三，三生萬(wàn)物”。在對(duì)比學(xué)習(xí)中，只要存在一個(gè)對(duì)象，我們就可以給它找到或者造一個(gè)對(duì)比對(duì)象，讓它們?nèi)プ晕覍?duì)比，自己進(jìn)化；當(dāng)多個(gè)對(duì)象成立的時(shí)候，我們都不需要造了，只需要利用就好。

多對(duì)多機(jī)翻就是典型的例子。這篇文章來(lái)自字節(jié)跳動(dòng)AI Lab，研究的問題是：如何學(xué)習(xí)更好的通用跨語(yǔ)言表示，來(lái)獲得更好的多語(yǔ)言翻譯效果？尤其是當(dāng)源語(yǔ)言或者目標(biāo)語(yǔ)言不是English的時(shí)候。

本文的先驗(yàn)假設(shè)是，如果兩句話說(shuō)的是同一個(gè)意思，即使它們使用的語(yǔ)言不相同，那么它們?cè)谡Z(yǔ)義空間中的表示也應(yīng)該接近。所以本文的訓(xùn)練目標(biāo)是：減少相似句子表示之間的距離，增大不相關(guān)句子表示之間的距離。文中使用了fancy的數(shù)據(jù)增強(qiáng)，同時(shí)使用單語(yǔ)和多語(yǔ)的數(shù)據(jù)進(jìn)行對(duì)比。

方法簡(jiǎn)單，效果好，實(shí)驗(yàn)solid，值得細(xì)品。

本文首發(fā)于微信公眾號(hào)”夕小瑤的賣萌屋“

文 | 花小花Posy
源 | 夕小瑤的賣萌屋

參考文獻(xiàn)

[1] DeCLUTR: Deep Contrastive Learning for Unsupervised Textual Representations https://arxiv.org/pdf/2006.03659.pdf

[2] Self-Guided Contrastive Learning for BERT Sentence Representations https://arxiv.org/pdf/2106.07345.pdf

[3] ConSERT: A Contrastive Framework for Self-Supervised Sentence Representation Transfer https://arxiv.org/pdf/2105.11741.pdf

[4] CLINE: Contrastive Learning with Semantic Negative Examples for Natural Language Understanding https://arxiv.org/pdf/2107.00440.pdf

[5] CIL: Contrastive Instance Learning Framework for Distantly Supervised Relation Extraction https://arxiv.org/pdf/2106.10855.pdf

[6] Bi-Granularity Contrastive Learning for Post-Training in Few-Shot Scene https://arxiv.org/pdf/2106.02327

[7] SimCLS: A Simple Framework for Contrastive Learning of Abstractive Summarization https://arxiv.org/pdf/2106.01890

[8] Modeling Discriminative Representations for Out-of-Domain Detection with Supervised Contrastive Learning https://arxiv.org/pdf/2105.14289

[9] UNIMO: Towards Unified-Modal Understanding and Generation via Cross-Modal Contrastive Learning https://arxiv.org/pdf/2012.15409.pdf

[10] Contrastive Learning for Many-to-many Multilingual Neural Machine Translation https://arxiv.org/pdf/2105.09501.pdf

[11] An Evaluation Dataset for Intent Classificationand Out-of-Scope Prediction https://aclanthology.org/D19-1131.pdf

[12] CLEVE: Contrastive Pre-training for Event Extraction https://arxiv.org/pdf/2105.14485.pdf

[13] KACE: Generating Knowledge Aware Contrastive Explanations for Natural Language Inference (not public yet)

[14] xMoCo: Cross Momentum Contrastive Learning for Open-Domain Question Answering (not public yet)

總結(jié)

以上是生活随笔為你收集整理的从ACL2021看对比学习在NLP中的应用的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。