目錄

• 簡介
• 動機
• 貢獻
• 方法
• 實驗

簡介

本文提出了一種用于多模態學習的超圖注意力網絡，作者來自Kakao公司和首爾大學。
Kakao公司的主要產品是Kakao talk，類似于國內的微信，且騰訊是其第二大股東。
Kakao Brain這個團隊比較出名的是在NeurlPS2019上的Fast autoaugment這篇文章，大家可以關注一下。
下載鏈接
Kakao團隊的視頻講解。

動機

不同模態信息的level是不同的，也就是不同模態之間存在gap。
現有的多模態學習方法：1. 將不同模態的數據，經過預處理、預訓練后，得到特征向量。2. 將不同模態的特征向量集成到公共向量空間。3. 添加一個problem-specific模塊。這樣做的弊端是：不同模態的特征，重要性相同。

貢獻

使用符號圖作為多模態學習的公共語義空間。

提出HANs（Hypergraph Attention Networks，超圖注意力網絡），考慮結構相似度（高等級語義相似度）構造co-attention。

在GQA數據集上由54.6%提升至61.88%。

方法

本文方法的整體框架如圖所示，用符號圖定義不同模態之間的公共語義空間，并根據語義空間中所構造的co-attention map提取不同模態的聯合表示。

從上圖中可以看出，方法分為3個部分，分別是Sec 3.1 構造符號圖（Constructing Symbolic Graphs）、Sec 3.2 構造超圖（Constructing the Hypergraphs）、Sec 3.3 生成Co-attention（Building Co-attention Maps between Hypergraphs）和Sec 3.4 獲得最終表達（Getting Final Representations）。
Sec 3.1 構造符號圖。對于Image，使用[14]獲得場景圖（CVPR2015）。對于text，使用Spacy library獲得依賴樹。
Sec 3.2 構造超圖。生成超圖的過程，使用隨機游走算法。初始node隨機選擇，然后根據轉移矩陣進行隨機游走。注意，作者把每一個sub-graph也叫作hyperedge（超邊）。
Sec 3.3 生成Co-attention。對兩個超圖中的超邊，計算相似度，得到co-attention。相似度計算方法采用低秩雙線性池化（low-rank bilinearpooling method，主要用于特征聚合）。
Sec 3.4 獲得最終表達。這部分使用雙線性操作（bilinear operator），作者用了兩種方法：BAN（NIPS2018）和MFB（TNNLS2018），并在實驗部分做了對比。

實驗

下表是在GQA數據集上的實驗結果

總結

以上是生活随笔為你收集整理的CVPR 2020 HAN:《Hypergraph Attention Networks for Multimodal Learning》论文笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。