幾種簡單相似度算法：

1、簡單共有詞判斷

假設現(xiàn)有文本A和B，將A、B經過分詞、去停用詞之后形成集合A={a1,a2,...,an}和集合B={b1,b2,...,bn}。用NUM(A∩B)表示集合A與集合B的交集的元素個數(shù)，用NUM(A∪B)表示集合A與集合B的并集元素個數(shù)，則相似度為：

2、VSM向量空間模型

VSM空間向量模型，該模型將文檔映射到向量空間當中。假設文檔用ai表示文檔集A中的第i個文本，則ai表示為：ai={w1,w2,...,wi}其中wi的取值有兩種方式，如下：

1)布爾類型，用0或1表示該詞條是否在ai中出現(xiàn)，出現(xiàn)為1，否則為0.

例： 詞袋： #長度為7

a1 = ( 1, 1, 1, 0, 0, 0, 0 ) #長度為7

a2 = ( 0, 1, 1, 0, 1, 1, 0 ) #長度為7

2)wi表示該詞在ai中的權重，即

其中，N代表文檔ai中詞的總數(shù)，Nj表示詞語i在文檔ai中出現(xiàn)的次數(shù)。

經過以上兩種方法得到空間向量之后，采用余弦算法計算相似度即可。

3、Simhash

simhash的主要思想是降維，將文本分詞結果從一個高維向量映射成一個0和1組成的bit指紋(fingerprint)，然后通過比較這個二進制數(shù)字串的差異進而來表示原始文本內容的差異。

4、TF-IDF算法

使用TF-IDF算法得到文本對應的詞向量，然后利用余弦算法求相似度。其中TF表示詞頻，即一個詞在這篇文本中出現(xiàn)的頻率；IDF表示逆文檔頻率，即一個詞在所有文本中出現(xiàn)的頻率倒數(shù)，具體如下：

通過該公式獲得每一個詞的權重，然后組成每個文本向量。使用余弦算法計算相似度。

優(yōu)缺點：TF-IDF的優(yōu)點是簡單快速，而且容易理解。缺點是有時候用詞頻來衡量文章中的一個詞的重要性不夠全面，有時候重要的詞出現(xiàn)的可能不夠多，而且這種計算無法體現(xiàn)位置信息，無法體現(xiàn)詞在上下文的重要性。如果要體現(xiàn)詞的上下文結構，那么你可能需要使用word2vec算法來支持

5、WORD2VEC算法

由第4個算法可以看出缺陷，word2vec算法增加了自然語言的理解，關注到詞與詞之間的關系，比如近義詞，能夠體現(xiàn)詞的上下文結構。借助公布的大語料庫訓練的標準模型來計算自己的文檔相似度。

總結

以上是生活随笔為你收集整理的word2vec相似度计算_文档相似度助力搜索引擎的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。