簡(jiǎn)單的問(wèn)答已經(jīng)實(shí)現(xiàn)了,那么問(wèn)題也跟著出現(xiàn)了,我不能確定問(wèn)題一定是"你叫什么名字",也有可能是"你是誰(shuí)","你叫啥"之類(lèi)的,這就引出了人工智能中的另一項(xiàng)技術(shù):

自然語(yǔ)言處理(NLP) : 大概意思就是 讓計(jì)算機(jī)明白一句話(huà)要表達(dá)的意思,NLP就相當(dāng)于計(jì)算機(jī)在思考你說(shuō)的話(huà),讓計(jì)算機(jī)知道"你是誰(shuí)","你叫啥","你叫什么名字"是一個(gè)意思

這就要做 : 語(yǔ)義相似度

接下來(lái)我們用Python大法來(lái)實(shí)現(xiàn)一個(gè)簡(jiǎn)單的自然語(yǔ)言處理

現(xiàn)在又要用到Python強(qiáng)大的三方庫(kù)了

第一個(gè)是將中文字符串進(jìn)行分詞的庫(kù)叫 jieba

pip install jieba

我們通常把這個(gè)庫(kù)叫做 結(jié)巴分詞 確實(shí)是結(jié)巴分詞,而且這個(gè)詞庫(kù)是 made in china , 基本用一下這個(gè)結(jié)巴分詞:

import jieba

key_word = "你叫什么名字" # 定義一句話(huà),基于這句話(huà)進(jìn)行分詞

cut_word = jieba.cut(key_word) # 使用結(jié)巴分詞中的cut方法對(duì)"你叫什么名字" 進(jìn)行分詞

print(cut_word) # 不懂生成器的話(huà),就忽略這里

cut_word_list = list(cut_word) # 如果不明白生成器的話(huà),這里要記得把生成器對(duì)象做成列表

print(cut_word_list) # ['你', '叫', '什么', '名字']

測(cè)試代碼就很明顯了,它很清晰的把咱們的中文字符串轉(zhuǎn)為列表存儲(chǔ)起來(lái)了

第二個(gè)是一個(gè)語(yǔ)言訓(xùn)練庫(kù)叫 gensim

pip install gensim

這個(gè)訓(xùn)練庫(kù)很厲害, 里面封裝很多機(jī)器學(xué)習(xí)的算法, 是目前人工智能的主流應(yīng)用庫(kù),這個(gè)不是很好理解, 需要一定的Python數(shù)據(jù)處理的功底

import jieba

import gensim

from gensim import corpora

from gensim import models

from gensim import similarities

l1 = ["你的名字是什么", "你今年幾歲了", "你有多高你胸多大", "你胸多大"]

a = "你今年多大了"

all_doc_list = []

for doc in l1:

doc_list = [word for word in jieba.cut(doc)]

all_doc_list.append(doc_list)

print(all_doc_list)

doc_test_list = [word for word in jieba.cut(a)]

# 制作語(yǔ)料庫(kù)

dictionary = corpora.Dictionary(all_doc_list) # 制作詞袋

# 詞袋的理解

# 詞袋就是將很多很多的詞,進(jìn)行排列形成一個(gè) 詞(key) 與一個(gè) 標(biāo)志位(value) 的字典

# 例如: {'什么': 0, '你': 1, '名字': 2, '是': 3, '的': 4, '了': 5, '今年': 6, '幾歲': 7, '多': 8, '有': 9, '胸多大': 10, '高': 11}

# 至于它是做什么用的,帶著問(wèn)題往下看

print("token2id", dictionary.token2id)

print("dictionary", dictionary, type(dictionary))

corpus = [dictionary.doc2bow(doc) for doc in all_doc_list]

# 語(yǔ)料庫(kù):

# 這里是將all_doc_list 中的每一個(gè)列表中的詞語(yǔ) 與 dictionary 中的Key進(jìn)行匹配

# 得到一個(gè)匹配后的結(jié)果,例如['你', '今年', '幾歲', '了']

# 就可以得到 [(1, 1), (5, 1), (6, 1), (7, 1)]

# 1代表的的是 你 1代表出現(xiàn)一次, 5代表的是 了 1代表出現(xiàn)了一次, 以此類(lèi)推 6 = 今年 , 7 = 幾歲

print("corpus", corpus, type(corpus))

# 將需要尋找相似度的分詞列表 做成 語(yǔ)料庫(kù) doc_test_vec

doc_test_vec = dictionary.doc2bow(doc_test_list)

print("doc_test_vec", doc_test_vec, type(doc_test_vec))

# 將corpus語(yǔ)料庫(kù)(初識(shí)語(yǔ)料庫(kù)) 使用Lsi模型進(jìn)行訓(xùn)練

lsi = models.LsiModel(corpus)

# 這里的只是需要學(xué)習(xí)Lsi模型來(lái)了解的,這里不做闡述

print("lsi", lsi, type(lsi))

# 語(yǔ)料庫(kù)corpus的訓(xùn)練結(jié)果

print("lsi[corpus]", lsi[corpus])

# 獲得語(yǔ)料庫(kù)doc_test_vec 在 語(yǔ)料庫(kù)corpus的訓(xùn)練結(jié)果 中的 向量表示

print("lsi[doc_test_vec]", lsi[doc_test_vec])

# 文本相似度

# 稀疏矩陣相似度 將 主 語(yǔ)料庫(kù)corpus的訓(xùn)練結(jié)果 作為初始值

index = similarities.SparseMatrixSimilarity(lsi[corpus], num_features=len(dictionary.keys()))

print("index", index, type(index))

# 將 語(yǔ)料庫(kù)doc_test_vec 在 語(yǔ)料庫(kù)corpus的訓(xùn)練結(jié)果 中的 向量表示 與 語(yǔ)料庫(kù)corpus的 向量表示 做矩陣相似度計(jì)算

sim = index[lsi[doc_test_vec]]

print("sim", sim, type(sim))

# 對(duì)下標(biāo)和相似度結(jié)果進(jìn)行一個(gè)排序,拿出相似度最高的結(jié)果

# cc = sorted(enumerate(sim), key=lambda item: item[1],reverse=True)

cc = sorted(enumerate(sim), key=lambda item: -item[1])

print(cc)

text = l1[cc[0][0]]

print(a,text)

總結(jié)

以上所述是小編給大家介紹的Python人工智能之路 jieba gensim 最好別分家之最簡(jiǎn)單的相似度實(shí)現(xiàn) ,希望對(duì)大家有所幫助，如果大家有任何疑問(wèn)請(qǐng)給我留言，小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持！

如果你覺(jué)得本文對(duì)你有幫助，歡迎轉(zhuǎn)載，煩請(qǐng)注明出處，謝謝！

總結(jié)

以上是生活随笔為你收集整理的python人工智能是什么意思_Python人工智能之路 jieba gensim 最好别分家之最简单的相似度实现...的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。