?作者?|?香儂科技

來源?|?香儂科技

近日，深度學習國際頂級會議ICLR?2022向作者公布了論文錄用結果。香儂科技3篇論文被大會收錄，研究內容覆蓋通用自然語義理解、NLP神經網絡模型安全性、自動機器學習(autoML)。其中與浙江大學、新加坡南洋理工大學等單位合作提出的基于圖神經網絡的語義理解模型GNN-LM獲得了單項評審滿分（10分），以下為該文章具體介紹：

論文標題：

GNN-LM: Language Modeling based on Global Contexts via GNN

作者：

Yuxian Meng, Shi Zong, Xiaoya Li, Xiaofei Sun, Tianwei Zhang, Fei Wu, Jiwei Li

論文鏈接：

https://arxiv.org/abs/2110.08743

接收會議：

ICLR 2022

代碼鏈接：

https://github.com/ShannonAI/GNN-LM

---

概述

如今大多數NLP模型可以認為是遵循閉卷考試模型：在標注數據集上，模型訓練N個epoch,?可以比作學生看了N遍書，然后把他們“背”下來。在測試的時候，學生需要把書合上，不允許再去參考訓練數據。?這種閉卷考試策略有兩個局限性：一是基于記憶的很難記住訓練集中長尾的例子，二是記憶整個訓練數據所需的存儲空間過大。

本文提出了一個全新的語義理解模式，將閉卷考試轉化為開卷考試的語義理解模式：在測試的時候，模型允許參考訓練數據。這樣就將之前的“背”，轉變成了“抄”，模型可以直接使用訓練集中相關的例子來協助決策，這樣問題的難度就大大降低了。以語言模型來舉例，例如，給定前文“J.K.羅琳最知名的作品是”來預測后面的詞“哈利波特”，如果語言模型可以引用訓練集中相關的上下文“J.K.羅琳撰寫了哈利波特系列書籍”，那么它就會更容易將下一個token預測為“哈利”，就像是有參考書的開卷考試比閉卷考試要更簡單一樣。

基于這一認識，本文提出了基于圖神經網絡的語義理解模型的GNN-LM，它將傳統的NLP的閉卷模式，轉變為開卷模式：在推理過程中允許參考訓練數據。模型首先以輸入的樣例為query，首先在訓練數據中通過K近鄰（KNN）尋找相似的樣例為鄰居。找到了相似的鄰居之后，我們需要考慮不同的鄰居不同的影響，有的影響更大，有的影響更小。為了自動學習這些不同的影響，我們通過圖神經網絡GNN建立輸入樣例與鄰居的關系。換言之，輸入樣例的表征基于輸入樣例與鄰居通過GNN得到。如下圖所示，我們想預測?“The movie is”后面即將出現的詞，我們用“The movie is”作為query,?找到數據中相似的鄰居，其中包括“This movie is great”,?“Those movies are bad”?以及?“The movie is what I like”。我們將這四句話建立起一個圖結構:“The movie is”?中的?“movie”?與其他近鄰中的?“movie”建立邊，“is”?與其他近鄰中的?“is”建立邊。然后通過GNN得到表征。參考這些相似的例子，得到預測結果。

實驗表明，該方法提出的GNN-LM框架使基礎LM有了顯著的性能提升，在三個廣泛使用的語言模型數據集性能達到SOTA結果。

GNN-LM

首先使用基礎LM對輸入的上文??進行編碼，得到其表示??，然后使用自注意力增強圖神經網絡在檢索到的上下文和輸入的上文之間進行消息傳遞，從而更新上文的表示，再結合LM計算得到的概率??和檢索到的上下文提供的額外概率，來估計??。

構建有向異質圖

GNN-LM框架的第一步是通過計算余弦相似度，檢索??個和輸入上文的表示??最相近的上下文作為鄰居??，使用這些鄰居上下文的前??個token構建為有向異質圖???，其中節點是token，分為??兩種，??是輸入??中的token，而??來自檢索到的相似上下文。邊同樣也分為兩種：??，??是連接同一條上下文內的token，而??連接不同的上下文的token，也就是??和??之間的邊。將節點對應的token???向上下文兩側進行擴充得到??，使用??作為節點初始表示。

使用GNN傳遞信息

使用自注意力增強的圖神經網絡（GNNs）根據構造的圖來聚合和過濾token信息：

其中??代表目標節點??對源節點??在關系??下的重要程度，??是鄰居??對節點??將要傳遞的消息。

·Attention

像Transformer一樣，對于每條邊??，將目標節點??的表示映射到query向量??，源節點??的表示映射到key向量??，然后使用縮放點積計算注意力權重，并在所有相同類型的邊上進行歸一化：

·Feature

Single-head的特征定義為：

·Aggregate

使用注意力權重對特征進行加權聚合，并映射到??維空間：

結合基于kNN的預測概率

結合kNN-LM（）提出的概率線性插值方法增強GNN-LM的性能，對輸入上下文??，使用其k近鄰??的概率對LM計算出的概率進行直接擴充：

這一部分更詳細的介紹可以參考賬號之前的文章：

https://zhuanlan.zhihu.com/p/90890672

實驗

我們在三個廣泛使用的單詞級、字級和字符級語言模型數據集上進行了實驗：WikiText-103、One Billion Word和Enwik8。下圖為主要實驗結果，我們有如下觀察：

在WikiText-103數據集上，GNN-LM將基礎LM的困惑度從18.7降低到16.8，這證明了GNN-LM體系結構的有效性，并且GNN和kNN的結合進一步將性能提升到14.8。

在One Billion Word上，GNN-LM僅增加了27M參數就幫助基礎?LM減少了0.5的困惑度。作為對比，Baevski&Auli（2018）使用了560M額外參數，將困惑從23.9減少到23.0。

在Enwik8上，GNN-NN-LM比基礎LM快0.03BPC，且僅使用48M參數即可實現1.03 BPC，與使用88M參數的18L Transformer XL相當。

復雜度分析

由于需要為反向傳播維護每個節點的隱藏表示，訓練GNN需要的內存大約是普通LM的兩倍。我們提出了兩種策略來緩解空間問題：首先在較小鄰居數量的??上訓練，再在??上微調；對于依賴關系較長的數據集（如WikiText-103），將上下文截取為較小的長度（128）。圖（b）顯示了WikiText-103中基礎LM和GNN-LM在速度上的比較。我們觀察到，GNN-LM的速度大約是基礎LM的8到20倍。

消融實驗

由上圖（c）可見，每個token的鄰居數量顯著影響可以從訓練集中檢索多少信息。當k從8增加到128時，測試困惑度單調降低。

有向異質圖的構造和概率計算都依賴于kNN的檢索。我們使用召回度量來評估kNN檢索的質量。當被選為鄰居的上下文的下一個token與要預測的token相同時，視為召回。按照鄰居召回率分為5堆，可以看到，當kNN檢索的質量比較高時，GNN- LM比基礎LM效果提升更明顯。

示例研究

表中的示例顯示了輸入和相應提取的三個鄰居上下文。這兩個例子表明，提取的上下文在語義上與輸入有很強的聯系，因此利用鄰居信息將有利于模型預測。

小結

本文提出了GNN-LM，將圖神經網絡與語言模型相結合，通過允許在整個訓練語料庫中引用相似的上下文，擴展了傳統的語言模型。使用k近鄰檢索與輸入的表示最相似的鄰居，我們為每個輸入構建了一個有向異構圖，其中節點是來自輸入上下文或檢索到的鄰居上下文的token，邊表示token之間的連接。然后利用圖神經網絡從檢索到的上下文中聚合信息，以解碼下一個token。實驗結果表明，GNN-LM在標準數據集中優于強基線，并且通過與kNN-LM結合，能夠在WikiText-103上取得最優效果。

特別鳴謝

感謝 TCCI 天橋腦科學研究院對于 PaperWeekly 的支持。TCCI 關注大腦探知、大腦功能和大腦健康。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。

📝?稿件基本要求：

? 文章確系個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發送，要求圖片清晰，無版權問題

? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算

📬?投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯系方式（微信），以便我們在稿件選用的第一時間聯系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

🔍

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

·

總結

以上是生活随笔為你收集整理的ICLR 2022 | 香侬科技提出基于图神经网络的语义理解模型，获单项满分的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。