詞性標注

詞性標注的概念

詞性是詞匯的基本語法屬性，通常稱為詞類。
詞性標注（Part-Of-Speech tagging, POS tagging）也被稱為語法標注（grammatical tagging）或詞類消疑（word-category disambiguation），是語料庫語言學（corpus linguistics）中將語料庫內單詞的詞性按其含義和上下文內容進行標記的文本數據處理技術
??詞性標注可以由人工或特定算法完成，使用機器學習（machine learning）方法實現詞性標注是自然語言處理（Natural Language Processing, NLP）的研究內容。
??常見的詞性標注算法包括隱馬爾可夫模型（Hidden Markov Model, HMM）、條件隨機場（Conditional random fields, CRFs）等 。
?? 詞性標注主要被應用于文本挖掘（text mining）和NLP領域，是各類基于文本的機器學習任務，例如語義分析（semantic analysis）和指代消解（coreference resolution）的預處理步驟。
?? 自然語言處理是計算機科學領域與人工智能領域中的一個重要方向。它研究能實現人與計算機之間用自然語言進行有效通信的各種理論和方法。自然語言處理是一門融語言學、計算機科學、數學于一體的科學。因此，這一領域的研究將涉及自然語言，即人們日常使用的語言，所以它與語言學的研究有著密切的聯系，但又有重要的區別。自然語言處理并不是一般地研究自然語言，而在于研制能有效地實現自然語言通信的計算機系統，特別是其中的軟件系統。因而它是計算機科學的一部分。
??自然語言處理（NLP）是計算機科學，人工智能，語言學關注計算機和人類（自然）語言之間的相互作用的領域。

詞性標注中的難點

詞性標注遇到的最重要的問題就是詞性兼類問題。
漢語是一種缺乏詞形態變化的語言，詞的類別不能像印歐語那樣，直接從詞的形態變化上來判別。
造成詞性兼類問題的原因主要有以下幾點：
1.漢語缺乏詞形態變化，無法通過詞形變化判別詞類；
2.漢語中，常用詞兼類現象嚴重，比如：“這個人什么都好，就是好酗酒。”其中，第一個“好”讀三聲，是形容詞，而第二個“好”讀四聲，是動詞。
3.沒有統一的漢語詞類劃分標準，有些語料劃分很粗糙。
注意：《現代漢語八百詞》收取的常用詞中，兼類詞所占的比例高達22.5%，而且發現越是常用的詞，不同的用法越多。由于兼類使用程度高，兼類現象涉及漢語中大部分詞類，因而造成在漢語文本中詞類歧義排除的任務量巨大。

進行詞性標注的原因

詞性標注是很多NLP任務的預處理步驟，如句法分析，經過詞性標注后的文本會帶來很大的便利性，但也不是不可或缺的步驟。

詞性標注的方法

詞性標注這里基本可以照搬分詞的工作，在漢語中，大多數詞語只有一個詞性，或者出現頻次最高的詞性遠遠高于第二位的詞性。據說單純選取最高頻詞性，就能實現80%準確率的中文詞性標注程序。

主要可以分為基于規則和基于統計的方法，下面列舉幾種統計方法：
1、基于最大熵的詞性標注
2、基于統計最大概率輸出詞性
3、基于HMM的詞性標注

詞性標注的應用

1、句法分析預處理
2、詞匯獲取預處理
3、信息抽取預處理

漢語詞性對照表

詞性標注有小標注集和大標注集。
例如小標注集把代詞都歸為一類，大標注集可以把代詞進一步分成三類。
人稱代詞：你、我、他、它、你們、我們、他們
疑問代詞：哪里、什么、怎么
指示代詞：這里、那里、這些、那些
采用小標注集比較容易實現，但是太小的標注集可能會導致類型區分度不夠。、
舉個例子：在黑白兩色世界中，可以通過顏色的深淺來分辨出物體，但是通過七彩顏色可以分辨出更多的物體。
練習例子
示例一

示例二

總結

以上是生活随笔為你收集整理的词法分析与词性标注学习之笔记（二）----词性标注的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。