在碎片化閱讀充斥眼球的時(shí)代，越來越少的人會(huì)去關(guān)注每篇論文背后的探索和思考。

在這個(gè)欄目里，你會(huì)快速 get 每篇精選論文的亮點(diǎn)和痛點(diǎn)，時(shí)刻緊跟 AI 前沿成果。

點(diǎn)擊本文底部的「閱讀原文」即刻加入社區(qū)，查看更多最新論文推薦。

這是 PaperDaily 的第?125?篇文章

作者丨姜松浩

學(xué)校丨中國科學(xué)院計(jì)算技術(shù)研究所碩士生

研究方向丨機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘

語言的表示是自然語言處理中的基礎(chǔ)問題也是重要問題，常見的分布式詞向量 Word2Vector、Glove 等方法令很多 NLP 研究者和從業(yè)人員都受用無窮。然而現(xiàn)有的方法同樣存在這諸多問題，本文通過不同顆粒度的有監(jiān)督語言聯(lián)合訓(xùn)練方式，實(shí)現(xiàn)端到端的語言表示來完成自然語言處理中的常見任務(wù)，這種方式具有更強(qiáng)的魯棒性。

本文是劍橋大學(xué)和哥本哈根大學(xué)發(fā)表于 AAAI 2019 的工作，該方法采用分層次、分階段獲取重要特征的結(jié)構(gòu)來實(shí)現(xiàn)不同顆粒度的語言表示學(xué)習(xí)的方法，并通過規(guī)定一些合理有效的目標(biāo)函數(shù)來實(shí)現(xiàn)有監(jiān)督聯(lián)合訓(xùn)練的目的。

模型介紹

論文作者將其發(fā)表于 NAACL 2018 的論文模型?Zero-shot sequence labeling: Transferring knowledge from sentences to tokens?[1] 進(jìn)行改進(jìn)的最新研究成果。

模型結(jié)構(gòu)

該模型如下所示，其將作者發(fā)表于 NAACL 2018 的模型 [1] 由單層結(jié)構(gòu)改為多層結(jié)構(gòu)，從模型結(jié)構(gòu)來看與文本分類模型 HAN [2] 有一定的相似度，但在細(xì)節(jié)上卻有不同的變化。

從整體看可以將模型為兩個(gè)部分。首先，將詞匯轉(zhuǎn)化為字符級(jí)利用雙向 LSTM 模型得到相應(yīng)的詞向量特征 m，然后將特征 m 與預(yù)訓(xùn)練（pre-train）詞向量 w 進(jìn)行矩陣的拼接處理得到更具魯棒性和適應(yīng)性的詞向量 x；然后再將上一階段得到的詞向量 x 同樣再次利用雙向 LSTM 獲得向量 h；最后再利用 self-attention 的方式獲得詞匯權(quán)重。

其方法上與 HAN [2] 如出一轍，該方法目的在于為針對不同任務(wù)具有不同重要性的單位詞匯分配不同權(quán)重，再通過不同權(quán)重的詞向量組合得到相應(yīng)的句向量表示結(jié)果 s。?

該文章的亮點(diǎn)在于提出了幾種有特點(diǎn)的目標(biāo)函數(shù)（損失函數(shù)）來實(shí)現(xiàn)有監(jiān)督聯(lián)合訓(xùn)練方式。其中一個(gè)就是如下所示的函數(shù)，被作者定義為語句級(jí)別的目的函數(shù)。

該目的函數(shù)采用平方損失函數(shù)，其中上標(biāo) y 表示句向量 s 的帶 Sigmoid 激活函數(shù)的全連接計(jì)算預(yù)測結(jié)果，而 y 表示為有標(biāo)注的實(shí)際結(jié)果。作者選用 Sigmoid 激活函數(shù)的目的是進(jìn)行語句二分類，當(dāng)然對于不同的多分類任務(wù)，也可以將激活函數(shù)拓展為其他。

有監(jiān)督的注意力機(jī)制

與以往的端到端聯(lián)合訓(xùn)練的注意力機(jī)制不同，作者為得到更好的詞匯注意力權(quán)重，提出了有監(jiān)督的注意力方式，該方式利用詞匯標(biāo)注，其函數(shù)表示如下所示。

該函數(shù)同樣采用平方損失，其中上標(biāo) a 表示為模型預(yù)測的注意力權(quán)重，而 a 表示為標(biāo)注的注意力權(quán)重即 1 或者 0。作者將其定義為詞匯級(jí)別的損失函數(shù)。

語言模型的目標(biāo)函數(shù)

作者為實(shí)現(xiàn)模型對自然語言處理的其他任務(wù)的特征表示的魯棒性，加入了語言模型的目的函數(shù)，其函數(shù)如下所示。

目標(biāo)函數(shù)中，定義了 LSTM 中第 i 個(gè)詞匯的前向向量 q 對于第 i+1 詞的條件概率的 log 損失，以及第 i 個(gè)詞匯的前向向量?q 對于第 i-1 詞的條件概率的 log 損失。對于詞匯的條件概率計(jì)算過程如下公式所示。

字符級(jí)語言模型的目標(biāo)函數(shù)

字符級(jí)的語言模型目標(biāo)函數(shù)如下所示，該函數(shù)與上述語言模型目標(biāo)函數(shù)的總體目的是一致的，但在詞匯預(yù)測的條件概率計(jì)算方式上略有不同。

字符級(jí)語言模型，利用第 i-1 詞中的字符基于 LSTM 得到的前向與后向向量，以及第 i+1 詞中的字符前向后向向量構(gòu)成的預(yù)測向量 g 來預(yù)測第 i 個(gè)詞匯。其計(jì)算過程如下所示。

控制注意力權(quán)重表示范圍的目標(biāo)函數(shù)

該目標(biāo)函數(shù)目的在于實(shí)現(xiàn)注意力權(quán)重的合理分配，該方法的提出基于兩種假設(shè)：?

1. 一句話中只有部分詞匯（token）具有積極作用；

2. 對于有積極作用的詞匯而言，是在整句的全局作用中具有全局作用。

因此基于上述兩種假設(shè)，作者提出了控制注意力權(quán)重表示范圍的目標(biāo)函數(shù)，函數(shù)如下所示。

該函數(shù)的目的是將無效詞匯的注意力權(quán)重逐漸趨近于 0，而重要詞匯的權(quán)重則趨近于 1。

模型聯(lián)合訓(xùn)練的目標(biāo)函數(shù)定義

為實(shí)現(xiàn)不同顆粒度語言特征的端到端表示的聯(lián)合訓(xùn)練，將目標(biāo)函數(shù)定義如下。

該函數(shù)定義了超參數(shù)，其作用是對于自然語言處理中的不同任務(wù)分配不同的目標(biāo)權(quán)重來更好地完成任務(wù)。例如將語句的損失函數(shù)參數(shù)定義為 1 其他為 0 時(shí)可用于語句分類。

模型實(shí)驗(yàn)效果

作者通過對文本分類和情感分析等經(jīng)典數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果測試得出結(jié)論，該文中提出的聯(lián)合方法效果最佳。實(shí)驗(yàn)結(jié)果如下所示，其中 BiLSTM-LAST [3-4] 是常見的雙向 LSTM 的方法，BiLSTM-ATTN 即為 HAN [2]。

此外由于詞匯標(biāo)注的人工成本極高，為達(dá)到良好效果，文章中實(shí)驗(yàn)發(fā)現(xiàn)僅需 20% 的詞匯標(biāo)注就能遠(yuǎn)超沒有標(biāo)注過的樣本訓(xùn)練結(jié)果。同時(shí)發(fā)現(xiàn)當(dāng)超過 20% 樣本的詞匯標(biāo)注時(shí)，其變化與 20% 左右的樣本詞匯標(biāo)注效果差距并不明顯。

論文評價(jià)

這篇論文的模型結(jié)構(gòu)無大創(chuàng)新，但其在定義目標(biāo)函數(shù)上有極強(qiáng)的創(chuàng)造性。本文作者對模型中的每個(gè)細(xì)節(jié)理解到位，并且為了模型發(fā)揮到極致，將其與有監(jiān)督的目標(biāo)函數(shù)相結(jié)合，這種做法值得學(xué)習(xí)。

然而文中提到的部分目標(biāo)函數(shù)與人工標(biāo)注相關(guān)聯(lián)，盡管作者通過實(shí)驗(yàn)認(rèn)為 20% 的標(biāo)注就能達(dá)到很好的效果，但這同樣增加了人工成本。

參考文獻(xiàn)

[1] Rei, M., and S?gaard, A. 2018. Zero-shot sequence labeling: Transferring knowledge from sentences to tokens. NAACL-HLT.?

[2] Yang, Z.; Yang, D.; Dyer, C.; He, X.; Smola, A.; and Hovy, E. 2016. Hierarchical Attention Networks for Document Classification. AACL:HLT.?

[3] Tang, D.; Qin, B.; and Liu, T. 2015. Document modeling with gated recurrent neural network for sentiment classification. EMNLP.?

[4] Neelakantan, A.; Le, Q. V.; and Sutskever, I. 2016. Neural programmer: Inducing latent programs with gradient descent. ICLR.

本文由 AI 學(xué)術(shù)社區(qū) PaperWeekly 精選推薦，社區(qū)目前已覆蓋自然語言處理、計(jì)算機(jī)視覺、人工智能、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘和信息檢索等研究方向，點(diǎn)擊「閱讀原文」即刻加入社區(qū)！

點(diǎn)擊標(biāo)題查看更多論文解讀：?

• 自動(dòng)機(jī)器學(xué)習(xí)（AutoML）最新綜述

• 自然語言處理中的語言模型預(yù)訓(xùn)練方法

• 從傅里葉分析角度解讀深度學(xué)習(xí)的泛化能力

• 兩行代碼玩轉(zhuǎn)Google BERT句向量詞向量

• 近期知識(shí)圖譜頂會(huì)論文推薦，你都讀過哪幾篇？

• TensorSpace：超酷炫3D神經(jīng)網(wǎng)絡(luò)可視化框架

• 深度長文：NLP的巨人肩膀（上）

• NLP的巨人肩膀（下）：從CoVe到BERT
  

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？?答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來。

??來稿標(biāo)準(zhǔn)：

? 稿件確系個(gè)人原創(chuàng)作品，來稿需注明作者個(gè)人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請?jiān)谕陡鍟r(shí)提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會(huì)添加“原創(chuàng)”標(biāo)志

? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨(dú)在附件中發(fā)送?

? 請留下即時(shí)聯(lián)系方式（微信或手機(jī)），以便我們在編輯發(fā)布時(shí)和作者溝通

?

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點(diǎn)擊 |?閱讀原文?| 下載論文 & 源碼

總結(jié)

以上是生活随笔為你收集整理的AAAI 2019 | 基于不同颗粒度语言联合训练的表示学习的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。