TransE [ Bordes et al., 2013] 是最具代表性的位移距離模型， 其核心思想是實(shí)體和關(guān)系間的位移假設(shè)： ?三元組中頭實(shí)體向量表示h與關(guān)系的向量表示r之和與尾實(shí)體向量表示 t越接近越好， 即 h + r ≈ t

TransE基于實(shí)體和關(guān)系的分布式向量表示，將每個(gè)三元組實(shí)例（head，relation，tail）中的關(guān)系relation看做從實(shí)體head到實(shí)體tail的翻譯，通過不斷調(diào)整h、r和t（head、relation和tail的向量），使（h + r） 盡可能與 t 相等，即 h + r = t。
?代碼的實(shí)現(xiàn)：

項(xiàng)目數(shù)據(jù)采用FB15數(shù)據(jù)集實(shí)現(xiàn)TransE模型，代碼來源：https://github.com/Anery/transE?

實(shí)體數(shù)據(jù)：entity2id，第一列為實(shí)體名字，第二列為實(shí)體ID

?關(guān)系數(shù)據(jù)：relation2id，第一列為關(guān)聯(lián)名字，第二列為關(guān)系ID

（h,t,r）數(shù)據(jù)，包括三列，第一列H實(shí)體名字，第二列T實(shí)體名字，第三列R關(guān)系名字。分為訓(xùn)練集，驗(yàn)證集和測試集

• 首先，TransE模型采用k維隨機(jī)均勻分布對(duì)每個(gè)實(shí)體和每個(gè)關(guān)系進(jìn)行向量初始化
• 然后，批訓(xùn)練數(shù)據(jù)集構(gòu)建，從訓(xùn)練集中隨機(jī)選出正面樣本（h,r,t），然后基于正面樣本，保持正面樣本中h，r或r，t不變，改變t或h，獲得負(fù)面樣本，合并一起構(gòu)成批訓(xùn)練數(shù)據(jù)集。
• 表示向量更新，采用隨機(jī)梯度下降法，對(duì)批訓(xùn)練數(shù)據(jù)集中正面樣本（h,r,t）和負(fù)樣本的向量表示進(jìn)行更新。update_embeddings函數(shù)中，要對(duì)correct triplet和corrupted triplet都進(jìn)行更新（因?yàn)椴煌瑫r(shí)替換頭尾實(shí)體，所以在每步更新時(shí)重疊的實(shí)體要更新兩次）
• TranE直接對(duì)向量表示進(jìn)行訓(xùn)練，每個(gè)實(shí)體（head或tail）對(duì)應(yīng)一個(gè)k維向量，每個(gè)關(guān)系對(duì)應(yīng)一個(gè)k維向量，所有的k維向量即為TransE模型的參數(shù)，需要訓(xùn)練的參數(shù)。

?TransE模型訓(xùn)練 ：

TransE模型的目標(biāo)函數(shù)：

L1范數(shù)，也稱為曼哈頓距離，使用L1范數(shù)可以衡量兩個(gè)向量之間的差異性，也就是兩個(gè)向量的距離

L2范數(shù)，也稱為歐式距離，L2范數(shù)也可以用來衡量兩個(gè)向量之間的差距

其中距離度量方式有L1范數(shù)和L2范數(shù)兩種。在測試時(shí)，以?個(gè)三元組為例，用語料中所有實(shí)體替換當(dāng)前三元組的頭實(shí)體計(jì)算距離，將結(jié)果按升序排序，用正確三元組的排名情況來評(píng)估學(xué)習(xí)效果，同理，對(duì)尾實(shí)體也這樣做。

度量標(biāo)準(zhǔn)選擇hits@10和mean?rank，前者代表命中前10的次數(shù)/總查詢次數(shù)，后者代表正確結(jié)果排名之和/總查詢次數(shù)。

測試結(jié)果：

超參選擇：對(duì)FB15k數(shù)據(jù)集，epoch選了20，可以增加epoch來提高模型，nbatches選了400（訓(xùn)練最快），embedding_dim=50, learning_rate=0.01，margin=1。

參考文章：

https://blog.csdn.net/shunaoxi2313/article/details/89766467

https://blog.csdn.net/weixin_44023339/article/details/100080669

總結(jié)

以上是生活随笔為你收集整理的【TransE模型】基于分布式表示推理的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。