1. 分詞word tokenize

(1) 使用nltk.word_tokenize(text), 其中"isn't"被分割為"is"和"n't"

（2）使用WordPunctTokenizer(），單詞標點分割，其中"isn't"被分割為"isn"，"'" ?和“t"

(3) 使用TreebankWordTokenizer （賓夕法尼亞州立大學 Treebank單詞分割器）,?其中"isn't"被分割為"is"和"n't"

(4) 使用WhitespaceTokenizer(),?空格符號分割，就是split(' ') 最簡單的一個分詞器。"isn't"作為一個整體，沒有被分割。

(5) PunktWordTokenizer()：導入失敗，未找到原因，歡迎交流討論。

總結

以上是生活随笔為你收集整理的自然语言处理学习2：英语分词1word_tokenize, WordPunctTokenizer, TreebankWordTokenizer , WhitespaceTokenizer等的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。