學(xué)習(xí)筆記，僅供參考，有錯必糾

---

文檔信息的向量化

共現(xiàn)矩陣(Co-currence matrix)

共現(xiàn)矩陣概述

I like deep learning.
I like NLP.
I enjoy modeling.

通過以上3個句子，我們?nèi)≡~長度為1，并構(gòu)造共現(xiàn)矩陣如下，矩陣考慮了單詞上下文信息：

當(dāng)窗口長度越長，則信息量越豐富，但數(shù)據(jù)量也越大，一般我們設(shè)窗口大小為5-10；

共現(xiàn)矩陣的行/列數(shù)值自然就表示出各個詞匯的相似度.

存在的問題

如果將共現(xiàn)矩陣行(列)直接作為詞向量

• 向量維數(shù)隨著詞典大小線性增長，存儲整個詞典的空間消耗非常大

• 一些模型如文本分類模型會面臨稀疏性問題，高度的稀疏性導(dǎo)致模型欠穩(wěn)定

解決辦法

構(gòu)造低維稠密向量作為詞的分布式表示(提取主成分，用SVD做降維)

使用SVD需要面臨的問題：

• 計(jì)算量隨語料庫和詞典增長膨脹太快&

總結(jié)

以上是生活随笔為你收集整理的文本挖掘(part6)--共现矩阵的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。