1.研究背景（研究的問題）

一切的大背景是對(duì)比學(xué)習(xí)大發(fā)展

• 1.傳統(tǒng)深度學(xué)習(xí)當(dāng)中就存在這個(gè)問題。
• 2.雖然之前的工作指出，對(duì)比學(xué)習(xí)受到長(zhǎng)尾問題影響比較小；但是作者實(shí)驗(yàn)發(fā)現(xiàn)長(zhǎng)尾問題可能對(duì)對(duì)比學(xué)習(xí)影響更大。
• 3.因?yàn)槲覀冊(cè)跓o監(jiān)督學(xué)習(xí)當(dāng)中沒有有效的分類標(biāo)簽，所以傳統(tǒng)的解決長(zhǎng)尾問題的方法可能并不奏效。（大約隱含的就是還是得需要我們來解決這個(gè)問題）

2.使用方法（包含解決思路）

• 1.使用傳統(tǒng)的simCLR的結(jié)構(gòu)，最后也接正常的對(duì)比損失函數(shù)。
• 2.由于剪枝很容易剪掉不經(jīng)常出現(xiàn)的長(zhǎng)尾數(shù)據(jù)，這樣就導(dǎo)致我們可以借助這個(gè)特點(diǎn)發(fā)現(xiàn)長(zhǎng)尾數(shù)據(jù)。
• 3.我們通過剪枝獲得不同的模型，這個(gè)模型忘記了長(zhǎng)尾數(shù)據(jù)，之后使用對(duì)比損失函數(shù)讓他和原來的網(wǎng)絡(luò)拉近一點(diǎn)。這個(gè)拉近的過程其實(shí)就無形的強(qiáng)化了長(zhǎng)尾數(shù)據(jù)。

總結(jié)

以上是生活随笔為你收集整理的对比学习系列论文SDCLR（一）-Self-Damaging Contrastive Learning论文的概括的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。