內容來自七月算法nlp課程。

文章目錄

• 1 句子向量
• • 1.1 bert句子向量表示相似度效果不好
  • 1.2 sentence-bert

1 句子向量

句子向量是用于實體消岐的。可以使用Elmo，也可以使用bert。這里介紹用bert生成句子向量。

1.1 bert句子向量表示相似度效果不好

Bert中最常用的句向量方式是采用cls標記位或者平均所有位置的輸出值，注意，在采用平均的方式的時候，我們需要先做一個mask的操作，計算均值時，除以mask的和。但bert的句子向量效果不理想。

為什么呢？
原因1：詞頻率影響詞向量的空間分布。bert詞向量表示與原點的L2距離的均值。高頻的詞更接近原點。

原因2：低頻次分布偏向稀疏。度量詞向量空間中與K近鄰單詞的 L2 距離的均值。我們可以看到高頻詞分布更集中，而低頻詞分布則偏向稀疏。然而稀疏性的分布會導致表示空間中存在很多“洞”，這些洞會破壞向量空間的“凸性”?？紤]到BERT句子向量的產生保留了凸性，因而直接使用其句子embeddings會存在問題。
這個凸性聽得云里霧里。

解決的模型有：sentence-bert、bert-flow和simCSE。

1.2 sentence-bert

論文：https://arxiv.org/pdf/1908.10084.pdf
代碼：https://github.com/UKPLab/sentence-transformers

總結

以上是生活随笔為你收集整理的图谱问答-句子向量模型部署项目总结（未完）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。