# -*- coding: utf-8 -*- #Gensim入門教程from gensim import corpora,models,similarities texts = [['human', 'interface', 'computer','interface'],['survey', 'user', 'computer', 'system', 'response', 'time'],['eps', 'user', 'interface', 'system'],['system', 'human', 'system', 'eps'],['user', 'response', 'time'],['trees'],['graph', 'trees'],['graph', 'minors', 'trees'],['graph', 'minors', 'survey']] #以上大列表中，每個(gè)自列表代表一個(gè)文本分詞后的結(jié)果 def print_dict(dict):for key in dict:print type(key),key,str(dict[key]),'\n'printdictionary = corpora.Dictionary(texts)#這個(gè)應(yīng)該是分詞后的結(jié)果，Dictionary用來(lái)去重 corpus = [dictionary.doc2bow(text)for text in texts] print_dict(dict(dictionary.items())) print("------------------------------------------------") print("file numbers=",dictionary.num_docs) print("------------------------------------------------") #返回的結(jié)果中，全部都是list，可以看到，corpus下標(biāo)是0~8，表示文本數(shù)目是9個(gè) #返回的list中的元祖()中，是(id,在單個(gè)文本中出現(xiàn)該word的次數(shù))、 #而一個(gè)list中包含的tuple數(shù)量=分詞后word數(shù)量-重復(fù)的word數(shù)量 #舉例：['human', 'interface', 'computer','interface']這個(gè)文本的 #分詞后word數(shù)量是4個(gè)，而由于interface重復(fù)了一次，所以tuple數(shù)量=4-1=3 # 所以最終對(duì)應(yīng)的corpus[0]輸出的list中是3個(gè)tuple，而不是4個(gè) print corpus[0] print corpus[1] print corpus[2] print corpus[3] print corpus[4] print corpus[5] print corpus[6] print corpus[7] print corpus[8] print("--------------------------------------------------") tfidf=models.TfidfModel(corpus)#輸入稀疏矩陣 print tfidf#TfidfModel(num_docs=9, num_nnz=28),num_nnz是每個(gè)文件中不重復(fù)詞個(gè)數(shù)的和 corpus_tfidf=tfidf[corpus] query='human science good interface' #下面是把詢問(wèn)的問(wèn)題轉(zhuǎn)化為稀疏向量 print("--------------------------------------------------") vec_bow=dictionary.doc2bow(query.split()) print vec_bow vec_tfidf=tfidf[vec_bow] print vec_tfidf#這個(gè)結(jié)果是把query的詞匯中，篩選出屬于dictionary的部分，然后分別計(jì)算tf-idf值 print("----------------以下三行代碼計(jì)算query和候選文本的相似度----------待會(huì)這里測(cè)試下復(fù)旦新聞數(shù)據(jù)集-----------------------")index=similarities.MatrixSimilarity(corpus_tfidf)#similarities是一個(gè)函數(shù)名，不要自己卵用 print "index=",index sims=index[vec_tfidf] print "sims=",sims#輸出列表，元素?cái)?shù)量=文本數(shù)量 print("---------------------------") similarity=list(sims)#輸出列表，元素?cái)?shù)量=文本數(shù)量 print "similarity=",similarity print("----------------以上三行代碼計(jì)算query和候選文本的相似度----------待會(huì)這里測(cè)試下復(fù)旦新聞數(shù)據(jù)集-----------------------") store_path='/home/appleyuchi/coai_fudan/storefile.txt' sim_file=open(store_path,'w') for i in similarity:sim_file.write(str(i)+'\n') sim_file.close()

如果使用LSI模型，那么：

# -*- coding: utf-8 -*- #Gensim入門教程from gensim import corpora,models,similarities texts = [['human', 'interface', 'computer','interface'],['survey', 'user', 'computer', 'system', 'response', 'time'],['eps', 'user', 'interface', 'system'],['system', 'human', 'system', 'eps'],['user', 'response', 'time'],['trees'],['graph', 'trees'],['graph', 'minors', 'trees'],['graph', 'minors', 'survey']] #以上大列表中，每個(gè)自列表代表一個(gè)文本分詞后的結(jié)果 def print_dict(dict):for key in dict:print type(key),key,str(dict[key]),'\n'printdictionary = corpora.Dictionary(texts)#這個(gè)應(yīng)該是分詞后的結(jié)果，Dictionary用來(lái)去重 corpus = [dictionary.doc2bow(text)for text in texts] print_dict(dict(dictionary.items())) print("------------------------------------------------") print("file numbers=",dictionary.num_docs) print("------------------------------------------------") #返回的結(jié)果中，全部都是list，可以看到，corpus下標(biāo)是0~8，表示文本數(shù)目是9個(gè) #返回的list中的元祖()中，是(id,在單個(gè)文本中出現(xiàn)該word的次數(shù))、 #而一個(gè)list中包含的tuple數(shù)量=分詞后word數(shù)量-重復(fù)的word數(shù)量 #舉例：['human', 'interface', 'computer','interface']這個(gè)文本的 #分詞后word數(shù)量是4個(gè)，而由于interface重復(fù)了一次，所以tuple數(shù)量=4-1=3 # 所以最終對(duì)應(yīng)的corpus[0]輸出的list中是3個(gè)tuple，而不是4個(gè) print corpus[0] print corpus[1] print corpus[2] print corpus[3] print corpus[4] print corpus[5] print corpus[6] print corpus[7] print corpus[8] print("--------------------------------------------------") lsi=models.LsiModel(corpus)#輸入總文本的稀疏矩陣 print lsi#TfidfModel(num_docs=9, num_nnz=28),num_nnz是每個(gè)文件中不重復(fù)詞個(gè)數(shù)的和 corpus_lsi=lsi[corpus] query='human science good interface' #下面是把詢問(wèn)的問(wèn)題轉(zhuǎn)化為稀疏向量 print("--------------------------------------------------") vec_bow=dictionary.doc2bow(query.split()) print vec_bow vec_lsi=lsi[vec_bow] print vec_lsi#這個(gè)結(jié)果是把query的詞匯中，篩選出屬于dictionary的部分，然后分別計(jì)算tf-idf值 print("----------------以下三行代碼計(jì)算query和候選文本的相似度---------------------------------")index=similarities.MatrixSimilarity(corpus_lsi)#similarities是一個(gè)函數(shù)名，不要自己卵用 print "index=",index sims=index[vec_lsi] print "sims=",sims#輸出列表，元素?cái)?shù)量=文本數(shù)量 print("---------------------------") similarity=list(sims)#輸出列表，元素?cái)?shù)量=文本數(shù)量 print "similarity=",similarity print("----------------以上三行代碼計(jì)算query和候選文本的相似度----------------------------") store_path='/home/appleyuchi/coai_fudan/storefile.txt' sim_file=open(store_path,'w') for i in similarity:sim_file.write(str(i)+'\n') sim_file.close()

總結(jié)

以上是生活随笔為你收集整理的Gensim初步使用和详细解释(该代码只能处理英文,处理中文不可用该代码)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。