利用NLTK进行分句分词
生活随笔
收集整理的這篇文章主要介紹了
利用NLTK进行分句分词
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
2019獨角獸企業重金招聘Python工程師標準>>>
.輸入一個段落，分成句子（Punkt句子分割器）
import?nltk?? import?nltk.data??def?splitSentence(paragraph):??tokenizer?=?nltk.data.load('tokenizers/punkt/english.pickle')??sentences?=?tokenizer.tokenize(paragraph)??return?sentences??if?__name__?==?'__main__':??print?splitSentence("My?name?is?Tom.?I?am?a?boy.?I?like?soccer!")?? 結果為['My name is Tom.', 'I am a boy.', 'I like soccer!']2.輸入一個句子，分成詞組
from?nltk.tokenize?import?WordPunctTokenizer????def?wordtokenizer(sentence):??#分段??words?=?WordPunctTokenizer().tokenize(sentence)??return?words??if?__name__?==?'__main__':??print?wordtokenizer("My?name?is?Tom.")?? 結果為['My', 'name', 'is', 'Tom', '.']?
轉載于:https://my.oschina.net/u/3346994/blog/911733
總結
以上是生活随笔為你收集整理的利用NLTK进行分句分词的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 使用java底层实现邮件的发送(含测试，
- 下一篇： 微信OAuth2网页授权登陆接口