讀論文《Natural Language Processing (Almost) from Scratch》

---

原文地址：http://blog.csdn.net/qq_31456593/article/details/77504902

introduce

本文也是神經(jīng)網(wǎng)絡(luò)語言模型和詞嵌入的經(jīng)典論文，本文與之前的《A Neural Probabilistic Language Model》模型的不同在于，本文的核心目標(biāo)是訓(xùn)練好的word embedding以完成詞性標(biāo)注 (POS)、短語識別(CHUNK)、命名實(shí)體識別(NER) 和語義角色標(biāo)注 (SRL)等任務(wù)。

本文的語言模型網(wǎng)絡(luò)只是用來預(yù)訓(xùn)練word embedding，最后要做的是拿word embedding作為具體任務(wù)（其共同目標(biāo)就是標(biāo)注）網(wǎng)絡(luò)第一層（將詞的one-hot表示變?yōu)閣ord embedding）的參數(shù)繼續(xù)在具體任務(wù)中訓(xùn)練。最后獲得在POS，CHUNK,NER,SRL上的良好表現(xiàn)。

本文用到了多任務(wù)訓(xùn)練的思路，即共享one-hot到word embedding的轉(zhuǎn)化層的參數(shù)，在多項(xiàng)任務(wù)上進(jìn)行訓(xùn)練。

method

本文設(shè)計(jì)了2個網(wǎng)絡(luò)來完成這些nlp任務(wù)，其中一個叫window approach，另一個叫sentence approach，網(wǎng)絡(luò)結(jié)構(gòu)見下圖

其中window approach是基于n-gram模型的改造，窗口大小為n，中心的那個詞為中心詞，上下文各(n-1)/2個詞。而sentence approach是利用卷積獲取上下文并將其變成大小一致的中間表示（通過修改卷積核的大小和步伐實(shí)現(xiàn)）。兩個模型最后都是最大化softmax輸出的正確標(biāo)簽類別。

window approach適用于POS,CHUNK,NER, sentence approach 適用于LRS。

word embedding

本文以無監(jiān)督的方法預(yù)訓(xùn)練word embedding以提高在具體工作上的效果。其網(wǎng)絡(luò)結(jié)構(gòu)與window approach的模型相同，只是最后的輸出層只有一個神經(jīng)元，表示該中心詞與上下文語義關(guān)聯(lián)程度的得分。得分高則說明該中心詞在當(dāng)前位置是符合上下文語言的，得分低則說明該中心詞在當(dāng)前位置不符合上下文語義。
訓(xùn)練時的正例就是中心詞為原語料的中心詞，負(fù)例就是把語料的中心詞以其他詞語代替。作者這么做的主要原因就是較少神經(jīng)網(wǎng)絡(luò)語言模型在大規(guī)模數(shù)據(jù)集上的訓(xùn)練時間。

如果用f(x)表示輸入通過神經(jīng)網(wǎng)絡(luò)到輸出的變化，那么基于打分機(jī)制構(gòu)造的神經(jīng)網(wǎng)絡(luò)語言模型的優(yōu)化目標(biāo)是最小化下面的函數(shù)：

其中fθ(x)是正例的打分，fθ(x(w))是負(fù)例的打分這函數(shù)的目的就是增加兩者之間打分的差距，使其至少在1以上。

my view

1、本文利用神經(jīng)網(wǎng)絡(luò)模型執(zhí)行POS,CHUNK,NER和LRS的任務(wù)，算是把神經(jīng)網(wǎng)絡(luò)用于具體自然語言處理處理任務(wù)的很好思路。
2、卷積模型或許可以發(fā)揮出跟大的力量。
3、詞嵌入的訓(xùn)練由訓(xùn)練語言模型變成了輸出評價(jià)的分，該評分的思路是否可以遷移到其他領(lǐng)域。
4、到底怎么樣的方法可以獲得更好的詞嵌入，值得我們探究。

總結(jié)

以上是生活随笔為你收集整理的读论文《Natural Language Processing (Almost) from Scratch》的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。