?

調用XLnet模型訓練好的詞向量做W2V的方法如下：
1.pip install pytorch_transformers
2.下載預訓練模型
3.如下Getw2v()代碼塊獲取詞向量
4. 使用詞向量進行其他后續操作，如進行句子相似性判斷，做命名實體識別等。以下代碼是進行句子相似性判斷的示例。

from pytorch_transformers import XLNetModel,XLNetConfig,XLNetTokenizer import torch import numpy as np def Getw2v():#mname 為模型路徑，此處為pytorch版本的模型,下載地址：https://github.com/ymcui/Chinese-XLNetmname = r'E:\pythonProgram\xlnet_w2v\src\Xlnet_model'config = XLNetConfig.from_pretrained(mname + '/config.json')vocab_file = mname + '/spiece.model'tokenizer = XLNetTokenizer.from_pretrained(vocab_file,do_lower_case = True)print("開始構造詞表")vocab = []for i in range(tokenizer.vocab_size):vocab.append(tokenizer._convert_id_to_token(i))print("詞表長度：",len(vocab))print("開始加載模型。。。")model = XLNetModel.from_pretrained(mname)print("開始加載embbdedding。。。")emb = model.word_embedding.weight.dataemb = emb.numpy()# print(emb)print(np.shape(emb))return tokenizer,embfrom sklearn.metrics.pairwise import cosine_similarity from collections import Counter def Get_sim(tokenizer,emb,x,y):# 使用余弦相似度來判斷句子之間的相似度tokens1 = tokenizer.tokenize(x)tokens2 = tokenizer.tokenize(y)if len(tokens1) == 0 or len(tokens2) == 0:return 0tokfreqs1 = Counter(tokens1)tokfreqs2 = Counter(tokens2)attr1_embs = [emb[tokenizer.convert_tokens_to_ids([token])[0]] for token in tokfreqs1]attr2_embs = [emb[tokenizer.convert_tokens_to_ids([token])[0]] for token in tokfreqs2]embedding1 = np.average(attr1_embs, axis=0).reshape(1, -1)embedding2 = np.average(attr2_embs, axis=0).reshape(1, -1)sim = cosine_similarity(embedding1, embedding2)[0][0]# print(sim)return sim if __name__ == '__main__':tokenizer, emb = Getw2v()x = '我想吃蘋果和香蕉'y = '我想買蘋果和菠蘿'sim = Get_sim(tokenizer, emb,x,y)print(sim)

總結

以上是生活随笔為你收集整理的调用预训练好的XLnet词向量的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。