本文對Semi-supervised sequence tagging with bidirectional language models一文做一個(gè)簡短介紹，該文發(fā)表在ACL2017.

一、任務(wù)介紹

利用語言模型學(xué)習(xí)得到的RNN表示，來增強(qiáng)有監(jiān)督的序列標(biāo)注任務(wù)。

往往序列標(biāo)注的數(shù)據(jù)集是有限的，在有限的數(shù)據(jù)下，模型很難學(xué)習(xí)到一個(gè)足夠好的embedding來表示單詞。

本文通過語言模型可以利用到大量沒有標(biāo)注的數(shù)據(jù)，來增強(qiáng)單詞的語義表示。

二、模型

做法也很簡單，

1）第一步用大量的未標(biāo)注數(shù)據(jù)進(jìn)行前向和反向語言模型的訓(xùn)練，預(yù)訓(xùn)練好兩個(gè)RNN網(wǎng)絡(luò)。

2）對于給定句子中每一個(gè)單詞，例如“New”，先得到單詞的embedding表示，然后經(jīng)過第一層雙向RNN，得到隱層表示。

這個(gè)時(shí)候該句子經(jīng)過預(yù)訓(xùn)練好的兩個(gè)RNN網(wǎng)絡(luò)，得到New的前后RNN輸出表示，與之前的網(wǎng)絡(luò)隱層進(jìn)行拼接，輸入到第二層RNN網(wǎng)絡(luò)中，進(jìn)行序列標(biāo)注。

比起正常的序列標(biāo)注模型來，多了一個(gè)拼接預(yù)訓(xùn)練好語言模型的輸出表示。這一塊多余的東西還不用標(biāo)注，豈不妙哉。

三、實(shí)驗(yàn)

主實(shí)驗(yàn)如table1所示，我們可以看出，性能從90.87提高了91.93，增加了一個(gè)多點(diǎn)，效果還是挺明顯的。

至于語言模型的輸出到底加在RNN的哪一層，作者也做了實(shí)驗(yàn)：

發(fā)現(xiàn)加在第一層RNN的輸出的時(shí)候結(jié)果最好，不要問為什么，問了就是煉丹。

四、貢獻(xiàn)

本文沒有在基本的序列標(biāo)注模型再繼續(xù)搞一些fancy的騷結(jié)構(gòu)，或者其它懟模型的操作，而是采用半監(jiān)督方法創(chuàng)新的利用大量沒有標(biāo)注的數(shù)據(jù)來提高性能，很nice。

整篇文章通俗易懂，賞心悅目。

PS：如果覺得本文對你有任何幫助，希望右下角點(diǎn)個(gè)【在看】，謝謝。

往期精彩回顧適合初學(xué)者入門人工智能的路線及資料下載機(jī)器學(xué)習(xí)在線手冊深度學(xué)習(xí)在線手冊AI基礎(chǔ)下載（pdf更新到25集）備注：加入本站微信群或者qq群，請回復(fù)“加群”獲取一折本站知識星球優(yōu)惠券，請回復(fù)“知識星球”

喜歡文章，點(diǎn)個(gè)在看

與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的【论文浅析】Semi-supervised sequence tagging with bidirectional lm的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。