python 文本处理库_推荐8种目前Python使用率最高的文本处理工具
前言
文本處理一般包括詞性標注,句法分析,關鍵詞提取,文本分類,情感分析等等,這是針對中
文的,如果是對于英文來說,只需要基本的tokenize。本文為大家提供了以下這些工具包。我整理了Python的相關學習視頻及學習路線圖。
需要資料的,私信【學習】獲取更多資料
1.Jieba
【結巴中文分詞】做最好的 Python 中文分詞組件
其功能包括支持三種分詞模式(精確模式、全模式、搜索引擎模式),支持繁體分詞,支持自定義詞典等。
2.NLTK
【NLTK】一個構建Python程序以使用人類語言數據的領先平臺,被稱為“使用Python進行教學和計算語言學工作的絕佳工具”,以及“用自然語言進行游戲的神奇圖書館”。
3.TextBlob
【TextBlob】是一個用于處理文本數據的Python(2和3)庫。它為潛入常見的自然語言處理(NLP)任務提供了一個簡單的API,例如詞性標注,名詞短語提取,情感分析,分類,翻譯等。
4.MBSP for Python
【MBSP】是一個文本分析系統,基于CLiPS和ILK開發的基于TiMBL和MBT內存的學習應用程序。它提供了用于標記化和句子分裂,詞性標注,分塊,詞形還原,關系查找和介詞短語附件的工具。
5.Gensim
【Gensim】是一個免費的Python庫可擴展的統計語義
分析純文本文檔的語義結構
檢索語義相似的文檔
6.langid.py
【langid.py 】是一個獨立的語言標識(LangID)工具。接受過97種語言的預訓練(ISO 639-1代碼),培訓數據來自5個不同的來源:JRC-Acquis、ClueWeb 09、維基百科、路透社RCV2和Debian i18n。
7. xTAS
【 xTAS】是基于Celery的分布式文本分析套件。部分xtas使用GPL許可軟件,例如Stanford NLP工具,以及可能產生額外限制的數據集,檢查文檔中的各個功能。
8.Pattern
【Pattern】是Python編程語言的Web挖掘模塊。它具有數據挖掘工具(谷歌,Twitter和維基百科API,網絡爬蟲,HTML DOM解析器),自然語言處理(詞性標注,n-gram搜索,情感分析,WordNet),機器學習(矢量)空間模型,聚類,SVM),網絡分析和可視化。
我整理了Python的相關學習視頻及學習路線圖。
需要資料的,私信【學習】獲取更多資料
總結
以上是生活随笔為你收集整理的python 文本处理库_推荐8种目前Python使用率最高的文本处理工具的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 解读汽车机械工作原理GIF图 懂得三个算
- 下一篇: python读取npy文件_python