引言

思考了半天蘇神的SimCSE（https://github.com/bojone/SimCSE/blob/main/eval.py），遂記錄在此，幫助有需要的同學(xué)理解。

原文無(wú)監(jiān)督方法

在原文的a圖中，我們可以知道在一個(gè)batch中，輸入的n個(gè)文本都是不相關(guān)的，而正樣本對(duì)是通過(guò)對(duì)相同樣本dropout2次得到的，每一次使用不同的dropout mask。

正負(fù)樣本對(duì)構(gòu)造方法

我們可以發(fā)現(xiàn)，在生成樣本數(shù)據(jù)的時(shí)候，每一個(gè)相同的樣本連續(xù)生成了2次，由于每個(gè)樣本使用的dropout mask不一樣，因此在一個(gè)minibatch中，連續(xù)的兩個(gè)樣本形成正樣本對(duì)，非連續(xù)的樣本對(duì)形成負(fù)樣本對(duì)

SimCSE損失

def simcse_loss(y_true, y_pred):"""用于SimCSE訓(xùn)練的loss"""# 構(gòu)造標(biāo)簽idxs = K.arange(0, K.shape(y_pred)[0])idxs_1 = idxs[None, :]idxs_2 = (idxs + 1 - idxs % 2 * 2)[:, None]y_true = K.equal(idxs_1, idxs_2)y_true = K.cast(y_true, K.floatx())# 計(jì)算相似度y_pred = K.l2_normalize(y_pred, axis=1)similarities = K.dot(y_pred, K.transpose(y_pred))similarities = similarities - tf.eye(K.shape(y_pred)[0]) * 1e12similarities = similarities * 20loss = K.categorical_crossentropy(y_true, similarities, from_logits=True)return K.mean(loss)

核心的損失代碼如上所示，上述代碼想要構(gòu)造出如下的正確標(biāo)簽：

我們可以通過(guò)構(gòu)建一個(gè)0到n的數(shù)組，并將兩兩前后反轉(zhuǎn)的方式，得到上述正確標(biāo)簽：

這是上述代碼y_true的構(gòu)造方式，由于我們不需要自己與自己相似度，即對(duì)角線上的值，因此采用將logits置為負(fù)無(wú)窮，使得其指數(shù)為0，對(duì)損失無(wú)影響，similarities = similarities - tf.eye(K.shape(y_pred)[0]) * 1e12。

對(duì)比損失

對(duì)比損失的核心公式如圖所示，其本質(zhì)上是一個(gè)交叉熵?fù)p失：
$$CE=?log\frac{e^t}{{\sum }_i{e}^i}$$
因此可以在計(jì)算好相似度除以溫度系數(shù)之后，采用交叉熵?fù)p失的方式來(lái)進(jìn)行計(jì)算

總結(jié)

以上是生活随笔為你收集整理的SimCSE构造正负样本对与损失的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。