Gensim教程
什么是Gensim
Gensim是一款開源的第三方Python工具包,用于從原始的非結構化的文本中,無監督地學習到文本隱層的主題向量表達。它支持包括TF-IDF,LSA,LDA,和word2vec在內的多種主題模型算法,支持流式訓練,并提供了諸如相似度計算,信息檢索等一些常用任務的API接口
補充一些概念:
- 語料(Corpus):一組原始文本的集合,用于無監督地訓練文本主題的隱層結構。語料中不需要人工標注的附加信息。在Gensim中,Corpus通常是一個可迭代的對象(比如列表)。每一次迭代返回一個可用于表達文本對象的稀疏向量。
- 向量(Vector):由一組文本特征構成的列表。是一段文本在Gensim中的內部表達。
- 稀疏向量(Sparse Vector):通常,我們可以略去向量中多余的0元素。此時,向量中的每一個元素是一個(key, value)的tuple。
- 模型(Model):是一個抽象的術語。定義了兩個向量空間的變換(即從文本的一種向量表達變換為另一種向量表達)。
corpora, models, similarities 這三個是gensim的重要使用的類
最好的學習就是熟練掌握官方文檔
處理字符串
包含9個文檔,每個文檔僅包含一個句子。
>>> documents = [&#總結
- 上一篇: 福克斯是哪里人 揭秘福克斯的出生地和成长
- 下一篇: 九、爬虫学会如何入库