论文浅尝 | 基于动态知识图谱向量表示的对称合作对话代理的学习
鏈接:https://arxiv.org/abs/1704.07130
文本研究了對稱合作對話(symmetric collaborative dialogue)任務,任務中,兩個代理有著各自的先驗知識,并通過有策略的交流來達到最終的目標。本文還產生了一個11k大小的對話數據集。為了對結構化的知識和非結構化的對話文本進行建模,本文提出了一個神經網絡模型,模型在對話過程中對知識庫的向量表示進行動態地修改。
任務
在對稱合作對話任務中,存在兩個agent,每個代理有其私有的知識庫,知識庫由一系列的項(屬性和值)組成。兩個代理中共享一個相同的項,兩個代理的目標是通過對話找到這個相同的項。
數據集
本文建立了一個對稱合作對話任務數據集,數據集中知識庫對應的schema 中包含3000個實體,7種屬性。數據集的統計信息如下所示
模型
針對對稱合作對話任務,本文提出了DynoNet(Dynamic Knowledge GraphNetwork),模型結構如下所示
Knowledge graph
圖譜中包含三種節點:item節點,attribute節點,entity節點。圖譜根據對話中的信息進行相應的更新
Graph Embedding
t時刻知識圖譜中每個節點的向量表示為V_t(v),向量表示中包含了以下來源的信息:代理私有知識庫的信息,共享的對話中的信息,來自知識庫中相鄰節點的信息
Node Features
這個特征表示了知識庫中的一些簡單信息,如節點的度(degree),節點的類型。這個特征是一個one-hot編碼
Mention vectors
Mentions vector M_t(v) 表示在t時刻的對話中與節點v相關的上下文信息。對話的表示u_t 由個LSTM絡計算得到(后文會提到) 為了區分agent自身產生的對話語句和另一個代理產生的對話語句,對話語句表示為
Mentions vector通過以下公式進行更新
Recursive Node Embeddings
一個節點對應的向量表示也會收到相鄰其他節點的影響
其中k表示深度為k的節點,R表示邊對應的關系的向量表示
最后節點的向量表示為一系列深度的值的連接結果
本文中使用了
Utterance Embedding
對話的向量表示u_t由一個LSTM網絡計算得到
其中A_t為實體抽象函數,若輸入為實體,則通過以下公式計算
若不為實體,則為文本對應的向量表示進行zero padding的結果(保證長度一致)
使用一個LSTM進行對話語句的生成
輸出包含字典中的詞語以及知識庫中的實體
實驗結果
筆記整理:王旦龍,浙江大學碩士,研究方向為自然語言處理。
OpenKG.CN
中文開放知識圖譜(簡稱OpenKG.CN)旨在促進中文知識圖譜數據的開放與互聯,促進知識圖譜和語義技術的普及和廣泛應用。
轉載須知:轉載需注明來源“OpenKG.CN”、作者及原文鏈接。如需修改標題,請注明原標題。
?
點擊閱讀原文,進入 OpenKG 博客。
總結
以上是生活随笔為你收集整理的论文浅尝 | 基于动态知识图谱向量表示的对称合作对话代理的学习的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: CCKS 2018 | 工业界论坛报告简
- 下一篇: 多重共线性、异方差和自相关性