通過(guò)統(tǒng)計(jì)一個(gè)事先指定大小的窗口內(nèi)的word共現(xiàn)次數(shù)，以word周邊的共現(xiàn)詞的次數(shù)做為當(dāng)前word的vector。具體來(lái)說(shuō)，我們通過(guò)從大量的語(yǔ)料文本中構(gòu)建一個(gè)共現(xiàn)矩陣來(lái)定義word representation。

例子

有語(yǔ)料如下：

I like deep learning. I like NLP. I enjoy flying.

則其共現(xiàn)矩陣如下：

此時(shí)選的窗口大小為3，選擇在該窗口內(nèi)詞匯的共現(xiàn)頻率作為vector。

將共現(xiàn)矩陣行(列)作為詞向量表示后，可以知道like，enjoy都是在I附近且統(tǒng)計(jì)數(shù)目大約相等，他們意思相近。

矩陣定義的詞向量在一定程度上緩解了one-hot向量相似度為0的問(wèn)題，但沒(méi)有解決數(shù)據(jù)稀疏性和維度災(zāi)難的問(wèn)題。

總結(jié)

以上是生活随笔為你收集整理的词共现矩阵的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。