一 過濾文本

去除停用詞典和錯詞檢錯都可以用詞典的形式完成，以停用詞為例，我使用的應(yīng)該是知網(wǎng)提供的中文停用詞典。測試的數(shù)據(jù)集是小學生數(shù)學題。

print(text) # 打印未去除停用詞前版本with open(r"C:\Users\BF\Desktop\NLTK\stopwords.txt","r",encoding='utf-8') as stopfile: # 讀取停用詞，用utf-8的編碼格式txt = stopfile.readlines() # 一次性將所有的詞按行讀進來stopword = set(word.strip('\n') for word in txt) # 去除每個詞后的換行符放入tuple中removetext = [word for word in text if word not in stopword] # 去除停用詞 print(removetext)

停用詞的下載鏈接

https://pan.baidu.com/s/1aGoVyl-NkBXwQ9nEbvisyQ

當然如果你自己的中文的錯別字詞典可以用同樣的方式使用它，這里我用的是書本上英文文本的例子，找出文本中罕見的或者拼寫錯誤的詞匯表。這里有一個小技巧，如果你比較的是兩個元祖，可以用自帶的方法求兩個元祖的交集，差集，并集。

def unusual_words(text):text_vocab = set(w.lower() for w in text if w.isalpha()) # 讀取帶處理的文本english_vocab = set(w.lower() for w in nltk.corpus.words.words()) # 讀取nltk自帶的過濾文本unusual = text_vocab.difference(english_vocab)return unusualunusual_words(nltk.corpus.nps_chat.words())

?

---

二 過濾文本

發(fā)音詞典，是為了語音合成器而設(shè)計的。中文的發(fā)音詞典我也沒找到，所以這章不介紹（可以用來找押韻詞，對寫歌的人估計很有幫助）

---

?

?

總結(jié)

以上是生活随笔為你收集整理的Python自然语言处理—停用词词典的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。