Abstract

我們研究了一種籬笆（Lattice）結(jié)構(gòu)的LSTM模型為中文NER任務(wù)。它能夠編一序列的a sequence 的characters 和words。相對(duì)于characters編碼，它能夠加載words信息；相對(duì)于words編碼，它不用承受 分割誤差(segmentation errors)。門(mén)控循環(huán)細(xì)胞單元（gated recurren cell ）使我們可以選擇句子中最相關(guān)的characters和words，以獲得最好的結(jié)果。各種實(shí)驗(yàn)結(jié)果表明，我們的模型比 characters類(lèi)和words類(lèi)的模型都要棒。

1 Introduction

NER近些年來(lái)很火，這是一個(gè)序列標(biāo)注任務(wù)，需要預(yù)測(cè)實(shí)體編輯和類(lèi)別標(biāo)簽。目前的 state-of-the-art 模型是 LSTM-CRF模型，它用character信息來(lái)預(yù)測(cè)words。
中文NER是一般需要先進(jìn)行word segment的，然而，segment-> NER 過(guò)程會(huì)遭受 segment的誤差傳播，即segment 誤差會(huì)影響NER的識(shí)別結(jié)果。
目前已經(jīng)證實(shí)，character類(lèi)的模型 outperform word類(lèi)的模型。character類(lèi)的模型有一個(gè)缺點(diǎn)就是：word信息沒(méi)有被利用，而這些信息應(yīng)該是很有用的。為了解決這個(gè)問(wèn)題，我們提出了籬笆（Lattice）結(jié)構(gòu)的LSTM-CRF模型。如圖1所示，我們用字典構(gòu)建了一個(gè)匹配句子的 charater-word 籬笆網(wǎng)絡(luò)，結(jié)果，word信息，如 長(zhǎng)江大橋、長(zhǎng)江、大橋，可以被用來(lái)消除 潛在的相關(guān)命名實(shí)體，如 江大橋。

因?yàn)樵趌attice中，word-character path是指數(shù)級(jí)的，為此，我們搞了一個(gè)Lattice-LSTM結(jié)構(gòu)來(lái)自動(dòng)控制信息流。如圖2所示，對(duì)每個(gè)character來(lái)說(shuō)，門(mén)控單元被用來(lái)動(dòng)態(tài)的routine 來(lái)自不同路徑的信息。

結(jié)果證明，我們的模型效果超棒。

2 Related Work

3 Model

Follow 最好的英文NER任務(wù)，我們用 LSTM-CRF 作為我們的主要網(wǎng)絡(luò)結(jié)構(gòu)，用BIOES作為tagging架構(gòu)。

3.1 Character-Based Model

在這里，$e^c$代表一個(gè) character embedding lookup table。
用的是雙向LSTM來(lái)做特征提取，即$h_c^j=[h_c^j\leftarrow ,\to h_c^j]$。接著，一個(gè)標(biāo)準(zhǔn)的CRF被用在$h_c^j$上為序列標(biāo)注。

• Char + bichar.
  
  這里，$e^b$代表一個(gè)charater bigram lookup table。
• Char + softword.
  已經(jīng)被證實(shí)，用segment作為一個(gè)soft特征，確實(shí)可以提高 character類(lèi)NER任務(wù)的表現(xiàn)。
  
  這里，$e^s$代表一個(gè) segmentation label embedding lookup table。$seg(c_j)$代表 $c_j$上的segment label，它是一個(gè)word segmentor提供的，用BMES來(lái)作表征。

3.2 Word-Based Model

在這里，$e^w$代表一個(gè)word embedding lookup table. 用的是雙向LSTM來(lái)做特征提取，即$h_c^j=[h_c^j\leftarrow ,\to h_c^j]$。接著，一個(gè)標(biāo)準(zhǔn)的CRF被用在$h_c^j$上為序列標(biāo)注。
新點(diǎn)：Integrating character representations

character CNN和LSTM一直以來(lái)可以被表示 一個(gè)word中的character表征，這里我們用了它們2個(gè)。上式子中 $x_j^c$代表此$w_j$種的character表征。

• Word + char LSTM.
  令每個(gè)輸入character $c_j$ embedding為$e^c(c_j)$，我們用雙向LSTM來(lái)學(xué)習(xí)word中每個(gè)character的雙向隱層表示，最后詞$w_i$的character表示為：
  
  其中，len(i)是詞$w_i$的character長(zhǎng)度。
• Word + char LSTM
  我們研究“ Word + char LSTM”的一個(gè)變體，即 用一個(gè)single LSTM來(lái)得到每個(gè)$c_j$的隱層表征$h_j^c\leftarrow$、$\to h_j^c$。將 character hidden states 融入 word representation 的方式和上面相同。
• Word + char CNN
  令每個(gè)輸入character $c_j$ embedding為$e^c(c_j)$，那么每word的character表征向量 $x_i^c$ 的表示為：
  
  其中,ke=3是卷積核的大小，max意味著 max pooling.

3.3 Lattice Model

咱的模型看起來(lái)像是 character類(lèi)模型的擴(kuò)展，添加了word信息和門(mén)控單元。

如第2節(jié)所示，我們用自動(dòng)分割的大原始文本來(lái)構(gòu)建詞典D。模型的基本循環(huán)單元是由一個(gè)character單元向量 $c_j^c$ 和一個(gè)隱藏向量$h_j^c$ 構(gòu)成的。這基本的循環(huán)LSTM函數(shù)是：
]
其中，$i_j^c$、$f_j^c$、$o_j^c$分別代表輸入門(mén)、遺忘門(mén)、輸出門(mén)。與character類(lèi)模型不同的是，現(xiàn)在$c_j^c$的計(jì)算考慮了句子中的詞典級(jí)次級(jí)序列$w_{b,e}^d$，每個(gè)$w_{b,e}^d$的表征公式如下：

其中，$e^w$代表著 word embedding lookup table.
另外，$c_{b,e}^w$ 被用來(lái)表示 $x_{b,e}^w$ 的循環(huán)狀態(tài)，$c_{b,e}^w$ 的計(jì)算公式如下：

這里沒(méi)有輸出門(mén)，因?yàn)樾蛄袠?biāo)注是對(duì) character level 而言的。
with $c_{b,e}^w$，這里就有了更多的數(shù)據(jù)流入到 character $c_j^c$。例如，在figure2中，$c_7^c$ 的輸入就有 $x_7^c$(橋)、$c_{6,7}^w$（大橋）、$c_{4,7}^w$（長(zhǎng)江大橋）。我們連接所有的 $c_{b,e}^w$ with $b\in \{b^{\prime }|w_{b^{\prime },e}^d\in D\}$ 和這細(xì)胞狀態(tài)$c_e^c$。我們?cè)儆靡粋€(gè)門(mén)控單元 $i_{b,e}^c$來(lái)控制 子序列 $c_{b,e}^w$ 流入到 $c_{b,e}^c$的contribution。

細(xì)胞單元的值 $c_j^c$ 的計(jì)算公式因此變?yōu)?#xff1a;

在公式15中，這門(mén)控值 $i_{b,j}^c$和$i_j^c$被正則化為 ${\alpha }_{b,j}^c$和${\alpha }_j^c$，計(jì)算公式如下所示：

這最后的隱藏向量$h_j^c$仍然和公式11中一樣。

3.4 Decoding and Training

CRF層是建立在 $h_1$、$h_2$ … $h_{\mu }$之上，對(duì)應(yīng)的標(biāo)簽序列 $y=l_1,l_2,...,l_{\mu }$的概率為：

其中，$y^{\prime }$代表了一條被任意標(biāo)注的序列。訓(xùn)練損失函數(shù)為：

其中，代表著參數(shù)集合。

4 Experiments

我們做了大量實(shí)驗(yàn)。

4.1 Experimental Settings

Data：OntoNotes 4、MSRA、Weibo NER、a Chinese resume datase。
Segmentation：對(duì)OntoNotes 4 和MSRA來(lái)講，其訓(xùn)練集上的 黃金標(biāo)注分割是可以得到的。對(duì)OntoNotes 來(lái)講，其驗(yàn)證集和測(cè)試集上的黃金分割也是可以得到的，但是，對(duì)MSRA來(lái)講，其測(cè)試集得不到 黃金分割，Weibo 和 resume 數(shù)據(jù)集也得不到。于是，我們采用 神經(jīng)網(wǎng)絡(luò)分詞器 來(lái)自動(dòng)進(jìn)行分割。具體的，針對(duì)OntoNotes 4 和MSRA，我們訓(xùn)練分詞器在它們各自的訓(xùn)練集上；對(duì)Weibo 和 resume ，我們采用了 Yang et al 的最好的模型。
Word Embeddings：我們用word2vec 預(yù)訓(xùn)練了word embedding，然后在NER訓(xùn)練中進(jìn)行微調(diào)；我們用word2vec 預(yù)訓(xùn)練了character embedding 和 character bigram embedding，然后在NER訓(xùn)練中進(jìn)行微調(diào)；
Hyper-parameter settings：參數(shù)設(shè)置如圖所示。針對(duì)每個(gè)具體的數(shù)據(jù)集，沒(méi)有用網(wǎng)格搜索進(jìn)行微調(diào)。

4.2 Development Experiments
結(jié)果如下所示：

其中，值得注意的是：
（1）a word-based LSTM CRF baseline 給出了F1值為64.12%，比 a character-based LSTM CRF baseline 要高。
（2）A CNN representation of character sequences gives a slightly higher F1-score compared to LSTM character representations.
（3）在 word embedding中，當(dāng)給char CNN增加 bichar后，F1值卻下降了。考慮原因?yàn)?#xff1a;CNN本身已經(jīng)抓住了 character 級(jí)的N-gram信息。
（4）Lattice-based 結(jié)果最棒。值得注意的是：當(dāng)bigram 信息加強(qiáng)后，F1值并沒(méi)有提升。考慮其原因： words are better sources of information for character disambiguation compared with bigrams, which are also ambiguous.
（5）Lattice-based 表現(xiàn)超過(guò) char+subword，說(shuō)明：ws the advantage of lattice word information as compared with segmentor word information

4.3 Final Results

用4.2節(jié)得到的3種類(lèi)最優(yōu)模型和歷史上那些名模一起 來(lái)在四種數(shù)據(jù)上做實(shí)驗(yàn)。

4.4 Discussion

F1 against sentence length：

值得注意的是以下幾點(diǎn)：
（1）The word-based baseline gives substantially higher F1-scores over short sentences, but lower F1-scores over long sentences, which can be because of lower segmentation accuracies over longer sentences.
（2）The accuracy of lattice also decreases as the sentence length increases, which
can result from exponentially increasing number of word combinations in lattice.
Case Study
注意到word+char+bichar和lattice有相同的word信息源，區(qū)別在于：word+char+bichar首先使用詞匯是在分詞器中，這會(huì)施加硬約束（即，固定詞）到NER任務(wù)中。相比之下，lattice LSTM可以自由考慮所有詞典匯詞。

5 Conclusion

由于lattice方法和word segment是獨(dú)立的，所以在利用word信息上對(duì)NER消歧更有效果。

總結(jié)

以上是生活随笔為你收集整理的Chinese NER Using Lattice LSTM 论文解读的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。